час не стаіць

двена́дцать часо́в дня — las doce del día, el mediodía

кото́рый час? — ¿qué hora es?

в кото́ром часу? — ¿a qué hora?

чере́з час — dentro de una hora

в де́сять часо́в утра́ — a las diez de la mañana

в пять часо́в ве́чера — a las cinco de la tarde

в седьмо́м часу́ — después de las seis

часы́ рабо́ты — horas de trabajo

приёмные часы́ — horas de recepción

служе́бные часы́ — horas de oficina

свобо́дные часы́ — horas libres

часы́ досу́га — ratos de ocio

час обе́да — hora de la comida

до́лгие часы́ — horas de horas, las horas de Dios, horas muertas

то́чно в назна́ченный час — a la hora horada

когда́ пробьёт час — a la hora de la hora, cuando suene la hora

с ка́ждым часом — de hora en hora

в неуро́чный час — entre hora(s)

с опла́той по часа́м — con pago por horas

наста́л час для... — se hizo hora de...

спроси́ть, кото́рый час — pedir la hora

жить по часа́м — vivir con hora

е́хать со ско́ростью ста киломе́тров в час, де́лать сто киломе́тров в час — ir a cien kilómetros por hora, hacer cien kilómetros por hora

коменда́нтский час — toque (hora) de queda

сме́ртный (после́дний) час — hora suprema, la última hora

по часа́м — a las horas

до э́того (до сего́) часа — hasta ahora

с часу на час — de una hora a otra

в до́брый час — en hora buena, enhorabuena

не в до́брый час — en hora mala, enhoramala

в неуро́чный час — a deshora

в свой час — a su debido tiempo

всему́ свой час — cada cosa a su teimpo

не (ро́вен) ровён час — a lo mejor; no lo quiera Dios

че́рез час по ча́йной ло́жке — por alambique, con cuentagotas, un dedal a cada hora

час о́т часу не ле́гче — de mal en peor, cada vez peor; cada paso es un gazapo (es un tropiezo)

стоя́ть на часа́х — estar de guardia, montar la guardia

двена́дцать часо́в дня — las doce del día, el mediodía

кото́рый час? — ¿qué hora es?

в кото́ром часу? — ¿a qué hora?

чере́з час — dentro de una hora

в де́сять часо́в утра́ — a las diez de la mañana

в пять часо́в ве́чера — a las cinco de la tarde

в седьмо́м часу́ — después de las seis

часы́ рабо́ты — horas de trabajo

приёмные часы́ — horas de recepción

служе́бные часы́ — horas de oficina

свобо́дные часы́ — horas libres

часы́ досу́га — ratos de ocio

час обе́да — hora de la comida

до́лгие часы́ — horas de horas, las horas de Dios, horas muertas

то́чно в назна́ченный час — a la hora horada

когда́ пробьёт час — a la hora de la hora, cuando suene la hora

с ка́ждым часом — de hora en hora

в неуро́чный час — entre hora(s)

с опла́той по часа́м — con pago por horas

наста́л час для... — se hizo hora de...

спроси́ть, кото́рый час — pedir la hora

жить по часа́м — vivir con hora

е́хать со ско́ростью ста киломе́тров в час, де́лать сто киломе́тров в час — ir a cien kilómetros por hora, hacer cien kilómetros por hora

коменда́нтский час — toque (hora) de queda

сме́ртный (после́дний) час — hora suprema, la última hora

по часа́м — a las horas

до э́того (до сего́) часа — hasta ahora

с часу на час — de una hora a otra

в до́брый час — en hora buena, enhorabuena

не в до́брый час — en hora mala, enhoramala

в неуро́чный час — a deshora

в свой час — a su debido tiempo

всему́ свой час — cada cosa a su teimpo

не (ро́вен) ровён час — a lo mejor; no lo quiera Dios

че́рез час по ча́йной ло́жке — por alambique, con cuentagotas, un dedal a cada hora

час о́т часу не ле́гче — de mal en peor, cada vez peor; cada paso es un gazapo (es un tropiezo)

стоя́ть на часа́х — estar de guardia, montar la guardia

система охлаждения ЦОДа
-
[Интент]т

Система охлаждения для небольшого ЦОДа

Александр Барсков

Вы­мыш­лен­ная ком­па­ния (далее За­каз­чик) по­про­си­ла пред­ло­жить си­сте­му охла­жде­ния для стро­я­ще­го­ся ком­мер­че­ско­го ЦОДа. В ос­нов­ном зале пла­ни­ру­ет­ся установить:

• 60 стоек с энер­го­по­треб­ле­ни­ем по 5 кВт (всего 300 кВт) — все эле­мен­ты, необ­хо­ди­мые для обес­пе­че­ния тре­бу­е­мой тем­пе­ра­ту­ры и влаж­но­сти, долж­ны быть уста­нов­ле­ны сразу;
• 16 стоек с энер­го­по­треб­ле­ни­ем по 20 кВт (всего 320 кВт) — это обо­ру­до­ва­ние будет уста­нав­ли­вать­ся по­сте­пен­но (по мере необ­хо­ди­мо­сти), и сред­ства охла­жде­ния пла­ни­ру­ет­ся раз­вер­ты­вать и за­дей­ство­вать по мере под­клю­че­ния и за­груз­ки стоек.

За­каз­чик за­явил, что пред­по­чте­ние будет от­да­но энер­го­эф­фек­тив­ным ре­ше­ни­ям, по­это­му же­ла­тель­но за­дей­ство­вать «зе­ле­ные» тех­но­ло­гии, в первую оче­редь фри­ку­линг (есте­ствен­ное охла­жде­ние на­руж­ным воз­ду­хом — free cooling), и предо­ста­вить рас­чет оку­па­е­мо­сти со­от­вет­ству­ю­щей опции (с уче­том того, что объ­ект на­хо­дит­ся в Мос­ков­ской об­ла­сти). Пла­ни­ру­е­мый уро­вень ре­зер­ви­ро­ва­ния — N+1, но воз­мож­ны и дру­гие ва­ри­ан­ты — при на­ли­чии долж­но­го обос­но­ва­ния. Кроме того, За­каз­чик по­про­сил из­на­чаль­но преду­смот­реть сред­ства мо­ни­то­рин­га энер­го­по­треб­ле­ния с целью оп­ти­ми­за­ции рас­хо­да электроэнергии.

ЧТО ПРО­ГЛЯ­ДЕЛ ЗАКАЗЧИК

В сфор­му­ли­ро­ван­ной в столь общем виде за­да­че не учтен ряд су­ще­ствен­ных де­та­лей, на ко­то­рые не пре­ми­ну­ли ука­зать экс­пер­ты. Так, Дмит­рий Ча­га­ров, ру­ко­во­ди­тель на­прав­ле­ния вен­ти­ля­ции и кон­ди­ци­о­ни­ро­ва­ния ком­па­нии «Ути­лекс», за­ме­тил, что в за­да­нии ни­че­го не ска­за­но о ха­рак­те­ре на­груз­ки. Он, как и осталь­ные про­ек­ти­ров­щи­ки, ис­хо­дил из пред­по­ло­же­ния, что воз­душ­ный поток на­прав­лен с фрон­таль­ной части стоек назад, но, как из­вест­но, неко­то­рые ком­му­та­то­ры спро­ек­ти­ро­ва­ны для охла­жде­ния сбоку — для них при­дет­ся ис­поль­зо­вать спе­ци­аль­ные бо­ко­вые блоки рас­пре­де­ле­ния воз­душ­но­го потока.

В за­да­нии ска­за­но о раз­ме­ще­нии всех стоек (5 и 20 кВт) в ос­нов­ном зале, од­на­ко неко­то­рые экс­пер­ты на­сто­я­тель­но ре­ко­мен­ду­ют вы­де­лить от­дель­ную зону для вы­со­ко­на­гру­жен­ных стоек. По сло­вам Алек­сандра Мар­ты­ню­ка, ге­не­раль­но­го ди­рек­то­ра кон­сал­тин­го­вой ком­па­нии «Ди Си квад­рат», «это будет пра­виль­нее и с точки зре­ния про­ек­ти­ро­ва­ния, и с по­зи­ций удоб­ства экс­плу­а­та­ции». Такое вы­де­ле­ние (изо­ля­ция осу­ществ­ля­ет­ся при по­мо­щи вы­го­ро­док) преду­смот­ре­но, на­при­мер, в про­ек­те ком­па­нии «Ком­плит»: Вла­ди­слав Яко­вен­ко, на­чаль­ник от­де­ла ин­фра­струк­тур­ных про­ек­тов, уве­рен, что по­доб­ное ре­ше­ние, во-пер­вых, об­лег­чит об­слу­жи­ва­ние обо­ру­до­ва­ния, а во-вто­рых, поз­во­лит ис­поль­зо­вать раз­лич­ные тех­но­ло­гии хо­ло­до­снаб­же­ния в раз­ных зонах. Впро­чем, боль­шин­ство про­ек­ти­ров­щи­ков не ис­пы­та­ли осо­бых про­блем при ре­ше­нии за­да­чи по от­во­ду тепла от стоек 5 и 20 кВт, уста­нов­лен­ных в одном помещении.

Один из пер­вых во­про­сов, с ко­то­рым За­каз­чик об­ра­тил­ся к бу­ду­ще­му парт­не­ру, был свя­зан с фаль­шпо­лом: «Необ­хо­дим ли он во­об­ще, и если нужен, то какой вы­со­ты?». Алек­сандр Мар­ты­нюк ука­зал, что гра­мот­ный рас­чет вы­со­ты фаль­шпо­ла воз­мо­жен толь­ко при усло­вии предо­став­ле­ния до­пол­ни­тель­ной ин­фор­ма­ции: о типе стоек (как в них будет ор­га­ни­зо­ва­на по­да­ча охла­жда­ю­ще­го воз­ду­ха?); об ор­га­ни­за­ции ка­бель­ной про­вод­ки (под полом или по­тол­ком? сколь­ко ка­бе­лей? ка­ко­го диа­мет­ра?); об осо­бен­но­стях по­ме­ще­ния (вы­со­та по­тол­ков, со­от­но­ше­ние длин стен, на­ли­чие вы­сту­пов и опор­ных ко­лонн) и т. д. Он со­ве­ту­ет вы­пол­нить тем­пе­ра­тур­но-кли­ма­ти­че­ское мо­де­ли­ро­ва­ние по­ме­ще­ния с уче­том вы­ше­пе­ре­чис­лен­ных па­ра­мет­ров и, если по­тре­бу­ет­ся, уточ­ня­ю­щих дан­ных. В ре­зуль­та­те можно будет под­го­то­вить ре­ко­мен­да­ции в от­но­ше­нии оп­ти­маль­ной вы­со­ты фаль­шпо­ла, а также дать оцен­ку це­ле­со­об­раз­но­сти раз­ме­ще­ния в одном зале стоек с раз­ной энергонагруженностью.

Что ж, мы дей­стви­тель­но не предо­ста­ви­ли всей ин­фор­ма­ции, необ­хо­ди­мой для по­доб­но­го мо­де­ли­ро­ва­ния, и про­ек­ти­ров­щи­кам при­ш­лось до­воль­ство­вать­ся скуд­ны­ми ис­ход­ны­ми дан­ны­ми. И все же, на­де­ем­ся, пред­став­лен­ные ре­ше­ния ока­жут­ся ин­те­рес­ны­ми и по­лез­ны­ми ши­ро­ко­му кругу за­каз­чи­ков. Им оста­нет­ся толь­ко «по­до­гнать» ре­ше­ния «под себя».

«КЛАС­СИ­КА» ОХЛАЖДЕНИЯ

Для сня­тия тепла со стоек при на­груз­ке 5 кВт боль­шин­ство про­ек­ти­ров­щи­ков пред­ло­жи­ли самый рас­про­стра­нен­ный на се­год­ня ва­ри­ант — уста­нов­ку шкаф­ных пре­ци­зи­он­ных кон­ди­ци­о­не­ров, по­да­ю­щих хо­лод­ный воз­дух в про­стран­ство под фаль­шпо­лом. Под­вод воз­ду­ха к обо­ру­до­ва­нию осу­ществ­ля­ет­ся в зоне хо­лод­ных ко­ри­до­ров через пер­фо­ри­ро­ван­ные плиты или воз­ду­хо­рас­пре­де­ли­тель­ные ре­шет­ки фаль­шпо­ла, а отвод воз­ду­ха от кон­ди­ци­о­не­ров — из зоны го­ря­чих ко­ри­до­ров через верх­нюю часть зала или про­стран­ство на­вес­но­го по­тол­ка (см. Рисунок 1). Такая схема может быть ре­а­ли­зо­ва­на толь­ко при на­ли­чии фаль­шпо­ла до­ста­точ­ной высоты

В во­про­се вы­бо­ра места для уста­нов­ки шкаф­ных кон­ди­ци­о­не­ров един­ство мне­ний от­сут­ству­ет, мно­гие ука­за­ли на воз­мож­ность их раз­ме­ще­ния как в сер­вер­ном зале, так и в со­сед­нем по­ме­ще­нии. Алек­сей Кар­пин­ский, ди­рек­тор де­пар­та­мен­та ин­же­нер­ных си­стем ком­па­нии «Асте­рос», уве­рен, что для низ­ко­на­гру­жен­ных стоек луч­шим ре­ше­ни­ем будет вынос «тя­же­лой ин­же­не­рии» за пре­де­лы сер­вер­но­го зала (см. Рисунок 2) — тогда для об­слу­жи­ва­ния кон­ди­ци­о­не­ров внутрь зала вхо­дить не при­дет­ся. «Это по­вы­ша­ет на­деж­ность ра­бо­ты обо­ру­до­ва­ния, ведь, как из­вест­но, наи­бо­лее часто оно вы­хо­дит из строя вслед­ствие че­ло­ве­че­ско­го фак­то­ра, — объ­яс­ня­ет он. — При­чем по­ме­ще­ние с кон­ди­ци­о­не­ра­ми может быть со­вер­шен­но не свя­зан­ным с ма­шин­ным залом и рас­по­ла­гать­ся, на­при­мер, через ко­ри­дор или на дру­гом этаже».

Если стой­ки мощ­но­стью 5 и 20 кВт уста­нав­ли­ва­ют­ся в одном по­ме­ще­нии, Алек­сандр Ласый, за­ме­сти­тель ди­рек­то­ра де­пар­та­мен­та ин­тел­лек­ту­аль­ных зда­ний ком­па­нии «Крок», ре­ко­мен­ду­ет ор­га­ни­зо­вать фи­зи­че­ское раз­де­ле­ние го­ря­чих и хо­лод­ных ко­ри­до­ров. В си­ту­а­ции, когда для вы­со­ко­на­гру­жен­ных стоек вы­де­ля­ет­ся от­дель­ное по­ме­ще­ние, по­доб­но­го раз­де­ле­ния для стоек на 5 кВт не требуется.

ФРЕОН ИЛИ ВОДА

Шкаф­ные кон­ди­ци­о­не­ры на рынке пред­став­ле­ны как во фре­о­но­вом ис­пол­не­нии, так и в ва­ри­ан­тах с во­дя­ным охла­жде­ни­ем. При ис­поль­зо­ва­нии фре­о­но­вых кон­ди­ци­о­не­ров на крыше или при­ле­га­ю­щей тер­ри­то­рии необ­хо­ди­мо преду­смот­реть место для уста­нов­ки кон­ден­са­тор­ных бло­ков, а при во­дя­ном охла­жде­нии по­тре­бу­ет­ся место под на­сос­ную и во­до­охла­жда­ю­щие ма­ши­ны (чиллеры).

Спе­ци­а­ли­сты ком­па­нии «АМД­тех­но­ло­гии» пред­ста­ви­ли За­каз­чи­ку срав­не­ние раз­лич­ных ва­ри­ан­тов фре­о­но­вых и во­дя­ных си­стем кон­ди­ци­о­ни­ро­ва­ния. Наи­бо­лее бюд­жет­ный ва­ри­ант преду­смат­ри­ва­ет уста­нов­ку обыч­ных шкаф­ных фре­о­но­вых кон­ди­ци­о­не­ров HPM M50 UA с по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. При­мер­но на чет­верть до­ро­же обой­дут­ся мо­де­ли кон­ди­ци­о­не­ров с циф­ро­вым спи­раль­ным ком­прес­со­ром и элек­трон­ным тер­мо­рас­ши­ри­тель­ным вен­ти­лем (HPM D50 UA, Digital). Мощ­ность кон­ди­ци­о­не­ров ре­гу­ли­ру­ет­ся в за­ви­си­мо­сти от тем­пе­ра­ту­ры в по­ме­ще­нии, это поз­во­ля­ет до­бить­ся 12-про­цент­ной эко­но­мии элек­тро­энер­гии, а также умень­шить ко­ли­че­ство пусков и оста­но­ва ком­прес­со­ра, что по­вы­ша­ет срок служ­бы си­сте­мы. В слу­чае от­сут­ствия на объ­ек­те фаль­шпо­ла (или его недо­ста­точ­ной вы­со­ты) пред­ло­жен более до­ро­гой по на­чаль­ным вло­же­ни­ям, но эко­но­мич­ный в экс­плу­а­та­ции ва­ри­ант с внут­ри­ряд­ны­ми фре­о­но­вы­ми кондиционерами.

Как по­ка­зы­ва­ет пред­став­лен­ный ана­лиз, фре­о­но­вые кон­ди­ци­о­не­ры менее эф­фек­тив­ны по срав­не­нию с си­сте­мой во­дя­но­го охла­жде­ния. При этом, о чем на­по­ми­на­ет Вик­тор Гав­ри­лов, тех­ни­че­ский ди­рек­тор «АМД­тех­но­ло­гий», фре­о­но­вая си­сте­ма имеет огра­ни­че­ние по длине тру­бо­про­во­да и пе­ре­па­ду высот между внут­рен­ни­ми и на­руж­ны­ми бло­ка­ми (эк­ви­ва­лент­ная общая длина трас­сы фре­о­но­про­во­да не долж­на пре­вы­шать 50 м, а ре­ко­мен­ду­е­мый пе­ре­пад по вы­со­те — 30 м); у во­дя­ной си­сте­мы таких огра­ни­че­ний нет, по­это­му ее можно при­спо­со­бить к любым осо­бен­но­стям зда­ния и при­ле­га­ю­щей тер­ри­то­рии. Важно также пом­нить, что при при­ме­не­нии фре­о­но­вой си­сте­мы пер­спек­ти­вы раз­ви­тия (уве­ли­че­ние плот­но­сти энер­го­по­треб­ле­ния) су­ще­ствен­но огра­ни­че­ны, тогда как при за­клад­ке необ­хо­ди­мой ин­фра­струк­ту­ры по­да­чи хо­лод­ной воды к стой­кам (тру­бо­про­во­ды, на­со­сы, ар­ма­ту­ра) на­груз­ку на стой­ку можно впо­след­ствии уве­ли­чи­вать до 30 кВт и выше, не при­бе­гая к ка­пи­таль­ной ре­кон­струк­ции сер­вер­но­го помещения.

К фак­то­рам, ко­то­рые могут опре­де­лить выбор в поль­зу фре­о­но­вых кон­ди­ци­о­не­ров, можно от­не­сти от­сут­ствие места на улице (на­при­мер из-за невоз­мож­но­сти обес­пе­чить по­жар­ный про­езд) или на кров­ле (вслед­ствие осо­бен­но­стей кон­струк­ции или ее недо­ста­точ­ной несу­щей спо­соб­но­сти) для мон­та­жа мо­но­блоч­ных чил­ле­ров на­руж­ной уста­нов­ки. При этом боль­шин­ство экс­пер­тов еди­но­душ­но вы­ска­зы­ва­ют мне­ние, что при ука­зан­ных мощ­но­стях ре­ше­ние на воде эко­но­ми­че­ски це­ле­со­об­раз­нее и проще в ре­а­ли­за­ции. Кроме того, при ис­поль­зо­ва­нии воды и/или эти­лен­гли­ко­ле­вой смеси в ка­че­стве хо­ло­до­но­си­те­ля можно за­дей­ство­вать ти­по­вые функ­ции фри­ку­лин­га в чиллерах.

Впро­чем, функ­ции фри­ку­лин­га воз­мож­но за­дей­ство­вать и во фре­о­но­вых кон­ди­ци­о­не­рах. Такие ва­ри­ан­ты ука­за­ны в пред­ло­же­ни­ях ком­па­ний RC Group и «Ин­же­нер­ное бюро ’’Хос­сер‘‘», где ис­поль­зу­ют­ся фре­о­но­вые кон­ди­ци­о­не­ры со встро­ен­ны­ми кон­ден­са­то­ра­ми во­дя­но­го охла­жде­ния и внеш­ни­ми теп­ло­об­мен­ни­ка­ми с функ­ци­ей фри­ку­лин­га (сухие гра­дир­ни). Спе­ци­а­ли­сты RC Group сразу от­ка­за­лись от ва­ри­ан­та с уста­нов­кой кон­ди­ци­о­не­ров с вы­нос­ны­ми кон­ден­са­то­ра­ми воз­душ­но­го охла­жде­ния, по­сколь­ку он не со­от­вет­ству­ет тре­бо­ва­нию За­каз­чи­ка за­дей­ство­вать режим фри­ку­лин­га. По­ми­мо уже на­зван­но­го они пред­ло­жи­ли ре­ше­ние на ос­но­ве кон­ди­ци­о­не­ров, ра­бо­та­ю­щих на охла­жден­ной воде. Ин­те­рес­но от­ме­тить, что и про­ек­ти­ров­ши­ки «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» раз­ра­бо­та­ли вто­рой ва­ри­ант на воде.

Если ком­па­ния «АМД­тех­но­ло­гии» пред­ло­жи­ла для стоек на 5 кВт ре­ше­ние на базе внут­ри­ряд­ных кон­ди­ци­о­не­ров толь­ко как один из воз­мож­ных ва­ри­ан­тов, то APC by Schneider Electric (см. Ри­су­нок 3), а также один из парт­не­ров этого про­из­во­ди­те­ля, ком­па­ния «Ути­лекс», от­да­ют пред­по­чте­ние кон­ди­ци­о­не­рам, уста­нав­ли­ва­е­мым в ряды стоек. В обоих ре­ше­ни­ях пред­ло­же­но изо­ли­ро­вать го­ря­чий ко­ри­дор с по­мо­щью си­сте­мы HACS (см. Ри­су­нок 4). «Для эф­фек­тив­но­го охла­жде­ния необ­хо­ди­мо сни­зить по­те­ри при транс­пор­ти­ров­ке хо­лод­но­го воз­ду­ха, по­это­му си­сте­мы кон­ди­ци­о­ни­ро­ва­ния лучше уста­но­вить рядом с на­груз­кой. Раз­ме­ще­ние кон­ди­ци­о­не­ров в от­дель­ном по­ме­ще­нии — такая мо­дель при­ме­ня­лась в со­вет­ских вы­чис­ли­тель­ных цен­трах — в дан­ном слу­чае менее эф­фек­тив­но», — счи­та­ет Дмит­рий Ча­га­ров. В слу­чае ис­поль­зо­ва­ния внут­ри­ряд­ных кон­ди­ци­о­не­ров фаль­шпол уже не яв­ля­ет­ся необ­хо­ди­мо­стью, хотя в про­ек­те «Ути­лек­са» он преду­смот­рен — для про­клад­ки трасс хо­ло­до­снаб­же­ния, элек­тро­пи­та­ния и СКС.

Ми­ха­ил Бал­ка­ров, си­стем­ный ин­же­нер ком­па­нии APC by Schneider Electric, от­ме­ча­ет, что при от­сут­ствии фаль­шпо­ла трубы можно про­ло­жить либо в штро­бах, либо свер­ху, преду­смот­рев до­пол­ни­тель­ный уро­вень за­щи­ты в виде лот­ков или ко­ро­бов для кон­тро­ли­ру­е­мо­го слива воз­мож­ных про­те­чек. Если же фаль­шпол преду­смат­ри­ва­ет­ся, то его ре­ко­мен­ду­е­мая вы­со­та со­став­ля­ет не менее 40 см — из со­об­ра­же­ний удоб­ства про­клад­ки труб.

ЧИЛ­ЛЕР И ЕГО «ОБВЯЗКА»

В боль­шин­стве про­ек­тов преду­смат­ри­ва­ет­ся уста­нов­ка внеш­не­го чил­ле­ра и ор­га­ни­за­ция двух­кон­тур­ной си­сте­мы хо­ло­до­снаб­же­ния. Во внеш­нем кон­ту­ре, свя­зы­ва­ю­щем чил­ле­ры и про­ме­жу­точ­ные теп­ло­об­мен­ни­ки, хо­ло­до­но­си­те­лем слу­жит вод­ный рас­твор эти­лен­гли­ко­ля, а во внут­рен­нем — между теп­ло­об­мен­ни­ка­ми и кон­ди­ци­о­не­ра­ми (шкаф­ны­ми и/или внут­ри­ряд­ны­ми) — цир­ку­ли­ру­ет уже чи­стая вода. Необ­хо­ди­мость ис­поль­зо­ва­ния эти­лен­гли­ко­ля во внеш­нем кон­ту­ре легко объ­яс­ни­ма — это ве­ще­ство зимой не за­мер­за­ет. У За­каз­чи­ка воз­ник ре­зон­ный во­прос: зачем нужен вто­рой кон­тур, и по­че­му нель­зя ор­га­ни­зо­вать всего один — ведь в этом слу­чае КПД будет выше?

По сло­вам Вла­ди­сла­ва Яко­вен­ко, двух­кон­тур­ная схема поз­во­ля­ет сни­зить объем до­ро­го­го хо­ло­до­но­си­те­ля (эти­лен­гли­ко­ля) и яв­ля­ет­ся более эко­ло­гич­ной. Эти­лен­гли­коль — ядо­ви­тое, хи­ми­че­ски ак­тив­ное ве­ще­ство, и если про­теч­ка слу­чит­ся внут­ри по­ме­ще­ния ЦОД, лик­ви­да­ция по­след­ствий такой ава­рии ста­нет се­рьез­ной про­бле­мой для служ­бы экс­плу­а­та­ции. Сле­ду­ет также учи­ты­вать, что при со­дер­жа­нии гли­ко­ля в рас­тво­ре хо­ло­до­но­си­те­ля на уровне 40% по­тре­бу­ют­ся более мощ­ные на­со­сы (из-за вы­со­кой вяз­ко­сти рас­тво­ра), по­это­му по­треб­ле­ние энер­гии и, со­от­вет­ствен­но, экс­плу­а­та­ци­он­ные рас­хо­ды уве­ли­чат­ся. На­ко­нец, тре­бо­ва­ние к мон­та­жу си­сте­мы без гли­ко­ля го­раз­до ниже, а экс­плу­а­ти­ро­вать ее проще.

При ис­поль­зо­ва­нии чил­ле­ров функ­цию «бес­пе­ре­бой­но­го охла­жде­ния» ре­а­ли­зо­вать до­воль­но про­сто: при воз­ник­но­ве­нии пе­ре­бо­ев с по­да­чей элек­тро­энер­гии си­сте­ма спо­соб­на обес­пе­чить охла­жде­ние сер­вер­ной до за­пус­ка ди­зе­ля или кор­рект­но­го вы­клю­че­ния сер­ве­ров за счет хо­лод­ной воды, за­па­сен­ной в ба­ках-ак­ку­му­ля­то­рах. Как от­ме­ча­ет Вик­тор Гав­ри­лов, ре­а­ли­за­ция по­доб­ной схемы поз­во­ля­ет удер­жать из­ме­не­ние гра­ди­ен­та тем­пе­ра­ту­ры в до­пу­сти­мых пре­де­лах (ве­ду­щие про­из­во­ди­те­ли сер­ве­ров тре­бу­ют, чтобы ско­рость из­ме­не­ния тем­пе­ра­ту­ры со­став­ля­ла не более 50С/час, а уве­ли­че­ние этой ско­ро­сти может при­ве­сти к по­лом­ке сер­вер­но­го обо­ру­до­ва­ния, что осо­бен­но часто про­ис­хо­дит при воз­об­нов­ле­нии охла­жде­ния в ре­зуль­та­те рез­ко­го сни­же­ния тем­пе­ра­ту­ры). При про­па­да­нии элек­тро­пи­та­ния для под­дер­жа­ния ра­бо­ты чил­лер­ной си­сте­мы кон­ди­ци­о­ни­ро­ва­ния необ­хо­ди­мо толь­ко обес­пе­чить функ­ци­о­ни­ро­ва­ние пе­ре­ка­чи­ва­ю­щих на­со­сов и вен­ти­ля­то­ров кон­ди­ци­о­не­ров — по­треб­ле­ние от ИБП сво­дит­ся к ми­ни­му­му. Для клас­си­че­ских фре­о­но­вых си­стем необ­хо­ди­мо обес­пе­чить пи­та­ни­ем весь ком­плекс це­ли­ком (при этом все ком­прес­со­ры долж­ны быть осна­ще­ны функ­ци­ей «мяг­ко­го за­пус­ка»), по­это­му тре­бу­ют­ся кон­ди­ци­о­не­ры и ИБП более до­ро­гой комплектации.

КОГДА РАС­ТЕТ ПЛОТНОСТЬ

Боль­шин­ство пред­ло­жен­ных За­каз­чи­ку ре­ше­ний для охла­жде­ния вы­со­ко­на­гру­жен­ных стоек (20 кВт) преду­смат­ри­ва­ет ис­поль­зо­ва­ние внут­ри­ряд­ных кон­ди­ци­о­не­ров. Как по­ла­га­ет Алек­сандр Ласый, ос­нов­ная слож­ность при от­во­де от стой­ки 20 кВт тепла с по­мо­щью клас­си­че­ской схемы охла­жде­ния, ба­зи­ру­ю­щей­ся на шкаф­ных кон­ди­ци­о­не­рах, свя­за­на с по­да­чей охла­жден­но­го воз­ду­ха из-под фаль­шполь­но­го про­стран­ства и до­став­кой его до теп­ло­вы­де­ля­ю­ще­го обо­ру­до­ва­ния. «Зна­чи­тель­ные пе­ре­па­ды дав­ле­ния на пер­фо­ри­ро­ван­ных ре­шет­ках фаль­шпо­ла и вы­со­кие ско­ро­сти дви­же­ния воз­ду­ха со­зда­ют нерав­но­мер­ный воз­душ­ный поток в зоне перед стой­ка­ми даже при раз­де­ле­нии го­ря­чих и хо­лод­ных ко­ри­до­ров, — от­ме­ча­ет он. — Это при­во­дит к нерав­но­мер­но­му охла­жде­нию стоек и их пе­ре­гре­ву. В слу­чае пе­ре­мен­ной за­груз­ки стоек воз­ни­ка­ет необ­хо­ди­мость пе­ре­на­стра­и­вать си­сте­му воз­ду­хо­рас­пре­де­ле­ния через фаль­шпол, что до­воль­но затруднительно».

Впро­чем, неко­то­рые ком­па­нии «риск­ну­ли» пред­ло­жить для стоек на 20 кВт си­сте­му, ос­но­ван­ную на тех же прин­ци­пах, что при­ме­ня­ют­ся для стоек на 5кВт, — по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. По сло­вам Сер­гея Бон­да­ре­ва, ру­ко­во­ди­те­ля от­де­ла про­даж «Вайсс Кли­ма­тех­ник», его опыт по­ка­зы­ва­ет, что уста­нов­ка до­пол­ни­тель­ных ре­ше­ток во­круг стой­ки для уве­ли­че­ния пло­ща­ди се­че­ния, через ко­то­рое по­сту­па­ет хо­лод­ный воз­дух (а зна­чит и его объ­е­ма), поз­во­ля­ет сни­мать теп­ло­вую на­груз­ку в 20 кВт. Ре­ше­ние этой ком­па­нии от­ли­ча­ет­ся от дру­гих про­ек­тов ре­а­ли­за­ци­ей фри­ку­лин­га: кон­струк­ция кон­ди­ци­о­не­ров Deltaclima FC про­из­вод­ства Weiss Klimatechnik поз­во­ля­ет под­во­дить к ним хо­лод­ный воз­дух прямо с улицы.

Ин­те­рес­ное ре­ше­ние пред­ло­жи­ла ком­па­ния «Юни­Конд», парт­нер ита­льян­ской Uniflair: клас­си­че­ская си­сте­ма охла­жде­ния через фаль­шпол до­пол­ня­ет­ся обо­ру­до­ван­ны­ми вен­ти­ля­то­ра­ми мо­ду­ля­ми «ак­тив­но­го пола», ко­то­рые уста­нав­ли­ва­ют­ся вме­сто обыч­ных пли­ток фаль­шпо­ла. По утвер­жде­нию спе­ци­а­ли­стов «Юни­Конд», такие мо­ду­ли поз­во­ля­ют су­ще­ствен­но уве­ли­чить объ­е­мы ре­гу­ли­ру­е­мых по­то­ков воз­ду­ха: до 4500 м³/час вме­сто 800–1000 м³/час от обыч­ной ре­шет­ки 600х600 мм. Они также от­ме­ча­ют, что про­сто уста­но­вить вен­ти­ля­тор в под­поль­ном про­стран­стве недо­ста­точ­но для обес­пе­че­ния га­ран­ти­ро­ван­но­го охла­жде­ния сер­вер­ных стоек. Важно пра­виль­но ор­га­ни­зо­вать воз­душ­ный поток как по дав­ле­нию, так и по на­прав­ле­нию воз­ду­ха, чтобы обес­пе­чить по­да­чу воз­ду­ха не толь­ко в верх­нюю часть стой­ки, но и, в слу­чае необ­хо­ди­мо­сти, в ее ниж­нюю часть. Для этого па­нель «ак­тив­но­го пола» по­ми­мо вен­ти­ля­то­ра ком­плек­ту­ет­ся про­цес­со­ром, дат­чи­ка­ми тем­пе­ра­ту­ры и по­во­рот­ны­ми ла­ме­ля­ми (см. Ри­су­нок 5). При­ме­не­ние мо­ду­лей «ак­тив­но­го пола» без до­пол­ни­тель­ной изо­ля­ции по­то­ков воз­ду­ха поз­во­ля­ет уве­ли­чить мощ­ность стой­ки до 15 кВт, а при гер­ме­ти­за­ции хо­лод­но­го ко­ри­до­ра (в «Юни­Конд» это ре­ше­ние на­зы­ва­ют «хо­лод­ным бас­сей­ном») — до 25 кВт.

Как уже го­во­ри­лось, боль­шин­ство про­ек­ти­ров­щи­ков ре­ко­мен­до­ва­ли для стоек на 20 кВт си­сте­мы с внут­ри­ряд­ным охла­жде­ни­ем и изо­ля­цию по­то­ков го­ря­че­го и хо­лод­но­го воз­ду­ха. Как от­ме­ча­ет Алек­сандр Ласый, ис­поль­зо­ва­ние вы­со­ко­на­гру­жен­ных стоек в со­че­та­нии с внут­ри­ряд­ны­ми кон­ди­ци­о­не­ра­ми поз­во­ля­ет уве­ли­чить плот­ность раз­ме­ще­ния сер­вер­но­го обо­ру­до­ва­ния и со­кра­тить про­стран­ство (ко­ри­до­ры, про­хо­ды) для его об­слу­жи­ва­ния. Вза­им­ное рас­по­ло­же­ние сер­вер­ных стоек и кон­ди­ци­о­не­ров в этом слу­чае сво­дит к ми­ни­му­му нерав­но­мер­ность рас­пре­де­ле­ния хо­ло­да в ава­рий­ной ситуации.

Выбор раз­лич­ных ва­ри­ан­тов за­кры­той ар­хи­тек­ту­ры цир­ку­ля­ции воз­ду­ха пред­ло­жи­ла ком­па­ния «Асте­рос»: от изо­ля­ции хо­лод­но­го (ре­ше­ние от Knuеrr и Emerson) или го­ря­че­го ко­ри­до­ра (APC) до изо­ля­ции воз­душ­ных по­то­ков на уровне стой­ки (Rittal, APC, Emerson, Knuеrr). При­чем, как от­ме­ча­ет­ся в про­ек­те, 16 вы­со­ко­на­гру­жен­ных стоек можно раз­ме­стить и в от­дель­ном по­ме­ще­нии, и в общем зале. В ка­че­стве ва­ри­ан­тов кон­ди­ци­о­нер­но­го обо­ру­до­ва­ния спе­ци­а­ли­сты «Асте­рос» рас­смот­ре­ли воз­мож­ность уста­нов­ки внут­ри­ряд­ных кон­ди­ци­о­не­ров APC InRowRP/RD (с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра), Emerson CR040RC и за­кры­тых ре­ше­ний на базе обо­ру­до­ва­ния Knuеrr CoolLoop — во всех этих слу­ча­ях обес­пе­чи­ва­ет­ся ре­зер­ви­ро­ва­ние на уровне ряда по схеме N+1. Еще один ва­ри­ант — ряд­ные кон­ди­ци­о­не­ры LCP ком­па­нии Rittal, со­сто­я­щие из трех охла­жда­ю­щих мо­ду­лей, каж­дый из ко­то­рых можно за­ме­нить в «го­ря­чем» ре­жи­ме. В пол­ной мере до­ка­зав свою «вен­до­ро­не­за­ви­си­мость», ин­те­гра­то­ры «Асте­рос» все же от­ме­ти­ли, что при ис­поль­зо­ва­нии мо­но­брен­до­во­го ре­ше­ния, на­при­мер на базе про­дук­тов Emerson, все эле­мен­ты могут быть объ­еди­не­ны в еди­ную ло­каль­ную сеть, что поз­во­лит оп­ти­ми­зи­ро­вать ра­бо­ту си­сте­мы и сни­зить рас­ход энергии.

Как по­ла­га­ют в «Асте­рос», раз­ме­щать тру­бо­про­во­ды в под­по­то­лоч­ной зоне неже­ла­тель­но, по­сколь­ку при на­ли­чии под­вес­но­го по­тол­ка об­на­ру­жить и предот­вра­тить про­теч­ку и об­ра­зо­ва­ние кон­ден­са­та очень слож­но. По­это­му они ре­ко­мен­ду­ют обу­стро­ить фаль­шпол вы­со­той до 300 мм — этого до­ста­точ­но для про­клад­ки ка­бель­ной про­дук­ции и тру­бо­про­во­дов хо­ло­до­снаб­же­ния. Так же как и в ос­нов­ном полу, здесь необ­хо­ди­мо преду­смот­реть сред­ства для сбора жид­ко­сти при воз­ник­но­ве­нии ава­рий­ных си­ту­а­ций (гид­ро­изо­ля­ция, при­ям­ки, разу­к­лон­ка и т. д.).

Как и шкаф­ные кон­ди­ци­о­не­ры, внут­ри­ряд­ные до­вод­чи­ки вы­пус­ка­ют­ся не толь­ко в во­дя­ном, но и во фре­о­но­вом ис­пол­не­нии. На­при­мер, но­вин­ка ком­па­нии RC Group — внут­ри­ряд­ные си­сте­мы охла­жде­ния Coolside — по­став­ля­ет­ся в сле­ду­ю­щих ва­ри­ан­тах: с фре­о­но­вы­ми внут­рен­ни­ми бло­ка­ми, с внут­рен­ни­ми бло­ка­ми на охла­жден­ной воде, с одним на­руж­ным и одним внут­рен­ним фре­о­но­вым бло­ком, а также с одним на­руж­ным и несколь­ки­ми внут­рен­ни­ми фре­о­но­вы­ми бло­ка­ми. Учи­ты­вая по­же­ла­ние За­каз­чи­ка от­но­си­тель­но энер­го­сбе­ре­же­ния, для дан­но­го про­ек­та вы­бра­ны си­сте­мы Coolside, ра­бо­та­ю­щие на охла­жден­ной воде, по­лу­ча­е­мой от чил­ле­ра. Число чил­ле­ров, уста­нов­лен­ных на пер­вом этапе про­ек­та, при­дет­ся вдвое увеличить.

Для вы­со­ко­плот­ных стоек ком­па­ния «АМД­тех­но­ло­гии» раз­ра­бо­та­ла несколь­ко ва­ри­ан­тов ре­ше­ний — в за­ви­си­мо­сти от кон­цеп­ции, при­ня­той для стоек на 5 кВт. Если За­каз­чик вы­бе­рет бюд­жет­ный ва­ри­ант (фре­о­но­вые кон­ди­ци­о­не­ры), то в стой­ках на 20 кВт пред­ла­га­ет­ся уста­но­вить ряд­ные кон­ди­ци­о­не­ры-до­вод­чи­ки XDH, а в ка­че­стве хо­ло­диль­ной ма­ши­ны — чил­лер внут­рен­ней уста­нов­ки с вы­нос­ны­ми кон­ден­са­то­ра­ми XDC, обес­пе­чи­ва­ю­щий цир­ку­ля­цию хо­ло­до­но­си­те­ля для до­вод­чи­ков XDH. Если же За­каз­чик с са­мо­го на­ча­ла ори­ен­ти­ру­ет­ся на чил­ле­ры, то ре­ко­мен­ду­ет­ся до­ба­вить еще один чил­лер SBH 030 и также ис­поль­зо­вать кон­ди­ци­о­не­ры-до­вод­чи­ки XDH. Чтобы «раз­вя­зать» чил­лер­ную воду и фреон 134, ис­поль­зу­е­мый кон­ди­ци­о­не­ра­ми XDH, при­ме­ня­ют­ся спе­ци­аль­ные гид­рав­ли­че­ские мо­ду­ли XDP (см. Рисунок 6).

Спе­ци­а­ли­сты са­мо­го про­из­во­ди­те­ля — ком­па­нии Emerson Network — преду­смот­ре­ли толь­ко один ва­ри­ант, ос­но­ван­ный на раз­ви­тии чил­лер­ной си­сте­мы, пред­ло­жен­ной для стоек на 5 кВт. Они от­ме­ча­ют, что ис­поль­зо­ва­ние в си­сте­ме Liebert XD фрео­на R134 ис­клю­ча­ет ввод воды в по­ме­ще­ние ЦОД. В ос­но­ву ра­бо­ты этой си­сте­мы по­ло­же­но свой­ство жид­ко­стей по­гло­щать тепло при ис­па­ре­нии. Жид­кий хо­ло­до­но­си­тель, на­гне­та­е­мый на­со­сом, ис­па­ря­ет­ся в теп­ло­об­мен­ни­ках бло­ков охла­жде­ния XDH, а затем по­сту­па­ет в мо­дуль XDP, где вновь пре­вра­ща­ет­ся в жид­кость в ре­зуль­та­те про­цес­са кон­ден­са­ции. Таким об­ра­зом, ком­прес­си­он­ный цикл, при­сут­ству­ю­щий в тра­ди­ци­он­ных си­сте­мах, ис­клю­ча­ет­ся. Даже если слу­чит­ся утеч­ка жид­ко­сти, эко­ло­ги­че­ски без­вред­ный хо­ло­до­но­си­тель про­сто ис­па­рит­ся, не при­чи­нив ни­ка­ко­го вреда оборудованию.

Дан­ная схема пред­по­ла­га­ет воз­мож­ность по­этап­но­го ввода обо­ру­до­ва­ния: по мере уве­ли­че­ния мощ­но­сти на­груз­ки уста­нав­ли­ва­ют­ся до­пол­ни­тель­ные до­вод­чи­ки, ко­то­рые под­со­еди­ня­ют­ся к су­ще­ству­ю­щей си­сте­ме тру­бо­про­во­дов при по­мо­щи гиб­ких под­во­док и быст­ро­разъ­ем­ных со­еди­не­ний, что не тре­бу­ет оста­нов­ки си­сте­мы кондиционирования.

СПЕЦ­ШКА­ФЫ

Как счи­та­ет Алек­сандр Ша­пи­ро, на­чаль­ник от­де­ла ин­же­нер­ных си­стем «Кор­по­ра­ции ЮНИ», теп­ло­вы­де­ле­ние 18–20 кВт на шкаф — это при­мер­но та гра­ни­ца, когда тепло можно от­ве­сти за ра­зум­ную цену тра­ди­ци­он­ны­ми ме­то­да­ми (с при­ме­не­ни­ем внут­ри­ряд­ных и/или под­по­то­лоч­ных до­вод­чи­ков, вы­го­ра­жи­ва­ния рядов и т. п.). При более вы­со­кой плот­но­сти энер­го­по­треб­ле­ния вы­год­нее ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы с ло­каль­ны­ми си­сте­ма­ми во­дя­но­го охла­жде­ния. Же­ла­ние при­ме­нить для от­во­да тепла от вто­рой груп­пы шка­фов тра­ди­ци­он­ные ме­то­ды объ­яс­ни­мо, но, как пре­ду­пре­жда­ет спе­ци­а­лист «Кор­по­ра­ции ЮНИ», по­яв­ле­ние в зале новых энер­го­ем­ких шка­фов по­тре­бу­ет мон­та­жа до­пол­ни­тель­ных хо­ло­диль­ных машин, из­ме­не­ния кон­фи­гу­ра­ции вы­го­ро­док, кон­тро­ля за из­ме­нив­шей­ся «теп­ло­вой кар­ти­ной». Про­ве­де­ние таких («гряз­ных») работ в дей­ству­ю­щем ЦОДе не це­ле­со­об­раз­но. По­это­му в ка­че­стве энер­го­ем­ких шка­фов спе­ци­а­ли­сты «Кор­по­ра­ции ЮНИ» пред­ло­жи­ли ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы CoolLoop с от­во­дом тепла водой про­из­вод­ства Knuеrr в ва­ри­ан­те с тремя мо­ду­ля­ми охла­жде­ния (10 кВт каж­дый, N+1). По­доб­ный ва­ри­ант преду­смот­ре­ли и неко­то­рые дру­гие про­ек­ти­ров­щи­ки.

Ми­ну­сы та­ко­го ре­ше­ния свя­за­ны с по­вы­ше­ни­ем сто­и­мо­сти про­ек­та (CAPEX) и необ­хо­ди­мо­стью за­ве­де­ния воды в сер­вер­ный зал. Глав­ный плюс — в от­лич­ной мас­шта­би­ру­е­мо­сти: уста­нов­ка новых шка­фов не до­бав­ля­ет теп­ло­вой на­груз­ки в зале и не при­во­дит к пе­ре­рас­пре­де­ле­нию тепла, а под­клю­че­ние шкафа к си­сте­ме хо­ло­до­снаб­же­ния За­каз­чик может вы­пол­нять сво­и­ми си­ла­ми. Кроме того, он имеет воз­мож­ность путем до­бав­ле­ния вен­ти­ля­ци­он­но­го мо­ду­ля от­ве­сти от шкафа еще 10 кВт тепла (всего 30 кВт при со­хра­не­нии ре­зер­ви­ро­ва­ния N+1) — фак­ти­че­ски это ре­зерв для роста. На­ко­нец, как утвер­жда­ет Алек­сандр Ша­пи­ро, с точки зре­ния энер­го­сбе­ре­же­ния (OPEX) дан­ное ре­ше­ние яв­ля­ет­ся наи­бо­лее эффективным.

В про­ек­те «Кор­по­ра­ции ЮНИ» шкафы CoolLoop пред­по­ла­га­ет­ся уста­но­вить в общем сер­вер­ном зале с уче­том прин­ци­па че­ре­до­ва­ния го­ря­чих и хо­лод­но­го ко­ри­до­ров, чем га­ран­ти­ру­ет­ся ра­бо­то­спо­соб­ность шка­фов при ава­рий­ном или тех­но­ло­ги­че­ском от­кры­ва­нии две­рей. При­чем общее кон­ди­ци­о­ни­ро­ва­ние воз­ду­ха в зоне энер­го­ем­ких шка­фов обес­пе­чи­ва­ет­ся ана­ло­гич­но ос­нов­ной зоне сер­вер­но­го зала за одним ис­клю­че­ни­ем — запас хо­ло­да со­став­ля­ет 20–30 кВт. Кон­ди­ци­о­не­ры ре­ко­мен­до­ва­но уста­но­вить в от­дель­ном по­ме­ще­нии, смеж­ном с сер­вер­ным залом и залом раз­ме­ще­ния ИБП (см. Рисунок 7). Такая ком­по­нов­ка имеет ряд пре­иму­ществ: во-пер­вых, тем самым раз­гра­ни­чи­ва­ют­ся зоны от­вет­ствен­но­сти служ­бы кон­ди­ци­о­ни­ро­ва­ния и ИТ-служб (со­труд­ни­кам служ­бы кон­ди­ци­о­ни­ро­ва­ния нет необ­хо­ди­мо­сти за­хо­дить в сер­вер­ный зал); во-вто­рых, из зоны раз­ме­ще­ния кон­ди­ци­о­не­ров обес­пе­чи­ва­ет­ся по­да­ча/забор воз­ду­ха как в сер­вер­ный зал, так и в зал ИБП; в-тре­тьих, со­кра­ща­ет­ся число ре­зерв­ных кон­ди­ци­о­не­ров (ре­зерв общий).

ФРИ­КУ­ЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Как и про­сил За­каз­чик, все про­ек­ти­ров­щи­ки вклю­чи­ли функ­цию фри­ку­лин­га в свои ре­ше­ния, но мало кто рас­счи­тал энер­ге­ти­че­скую эф­фек­тив­ность ее ис­поль­зо­ва­ния. Такой рас­чет про­вел Ми­ха­ил Бал­ка­ров из APC by Schneider Electric. Вы­де­лив три ре­жи­ма ра­бо­ты си­сте­мы охла­жде­ния — с тем­пе­ра­ту­рой гли­ко­ле­во­го кон­ту­ра 22, 20 и 7°С (режим фри­ку­лин­га), — для каж­до­го он ука­зал ее по­треб­ле­ние (в про­цен­тах от по­лез­ной на­груз­ки) и ко­эф­фи­ци­ент энер­ге­ти­че­ской эф­фек­тив­но­сти (Energy Efficiency Ratio, EER), ко­то­рый опре­де­ля­ет­ся как от­но­ше­ние хо­ло­до­про­из­во­ди­тель­но­сти кон­ди­ци­о­не­ра к по­треб­ля­е­мой им мощ­но­сти. Для на­груз­ки в 600 кВт сред­не­го­до­вое по­треб­ле­ние пред­ло­жен­ной АРС си­сте­мы охла­жде­ния ока­за­лось рав­ным 66 кВт с функ­ци­ей фри­ку­лин­га и 116 кВт без та­ко­вой. Раз­ни­ца 50 кВт в год дает эко­но­мию 438 тыс. кВт*ч.

Объ­яс­няя вы­со­кую энер­го­эф­фек­тив­ность пред­ло­жен­но­го ре­ше­ния, Ми­ха­ил Бал­ка­ров от­ме­ча­ет, что в первую оче­редь эти по­ка­за­те­ли обу­слов­ле­ны вы­бо­ром чил­ле­ров с вы­со­ким EER и при­ме­не­ни­ем эф­фек­тив­ных внут­рен­них бло­ков — по его дан­ным, внут­ри­ряд­ные мо­де­ли кон­ди­ци­о­не­ров в со­че­та­нии с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра обес­пе­чи­ва­ют при­мер­но дву­крат­ную эко­но­мию по срав­не­нию с наи­луч­ши­ми фаль­шполь­ны­ми ва­ри­ан­та­ми и по­лу­то­ра­крат­ную эко­но­мию по срав­не­нию с ре­ше­ни­я­ми, где ис­поль­зу­ет­ся кон­тей­не­ри­за­ция хо­лод­но­го ко­ри­до­ра. Вклад же соб­ствен­но фри­ку­лин­га вто­ри­чен — имен­но по­это­му ра­бо­чая тем­пе­ра­ту­ра воды вы­бра­на не самой вы­со­кой (всего 12°С).

По рас­че­там спе­ци­а­ли­стов «Ком­плит», в усло­ви­ях Мос­ков­ской об­ла­сти пред­ло­жен­ное ими ре­ше­ние с функ­ци­ей фри­ку­лин­га за год поз­во­ля­ет сни­зить рас­ход элек­тро­энер­гии при­мер­но на 50%. Дан­ная функ­ция (в про­ек­те «Ком­плит») ак­ти­ви­зи­ру­ет­ся при тем­пе­ра­ту­ре около +7°С, при по­ни­же­нии тем­пе­ра­ту­ры на­руж­но­го воз­ду­ха вклад фри­ку­лин­га в хо­ло­до­про­из­во­ди­тель­ность будет воз­рас­тать. Пол­но­стью си­сте­ма вы­хо­дит на режим эко­но­мии при тем­пе­ра­ту­ре ниже -5°С.

Спе­ци­а­ли­сты «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» пред­ло­жи­ли рас­чет эко­но­мии, ко­то­рую дает при­ме­не­ние кон­ди­ци­о­не­ров с функ­ци­ей фри­ку­лин­га (мо­дель ALD-702-GE) по срав­не­нию с ис­поль­зо­ва­ни­ем устройств, не осна­щен­ных такой функ­ци­ей (мо­дель ASD-802-A). Как и про­сил За­каз­чик, рас­чет при­вя­зан к Мос­ков­ско­му ре­ги­о­ну (см. Рисунок 8).

Как от­ме­ча­ет Вик­тор Гав­ри­лов, энер­го­по­треб­ле­ние в лет­ний пе­ри­од (при мак­си­маль­ной за­груз­ке) у фре­о­но­вой си­сте­мы ниже, чем у чил­лер­ной, но при тем­пе­ра­ту­ре менее 14°С, энер­го­по­треб­ле­ние по­след­ней сни­жа­ет­ся, что обу­слов­ле­но ра­бо­той фри­ку­лин­га. Эта функ­ция поз­во­ля­ет су­ще­ствен­но по­вы­сить срок экс­плу­а­та­ции и на­деж­ность си­сте­мы, так как в зим­ний пе­ри­од ком­прес­со­ры прак­ти­че­ски не ра­бо­та­ют — в связи с этим ре­сурс ра­бо­ты чил­лер­ных си­стем, как ми­ни­мум, в пол­то­ра раза боль­ше чем у фреоновых.

К пре­иму­ще­ствам пред­ло­жен­ных За­каз­чи­ку чил­ле­ров Emerson Вик­тор Гав­ри­лов от­но­сит воз­мож­ность их объ­еди­не­ния в еди­ную сеть управ­ле­ния и ис­поль­зо­ва­ния функ­ции кас­кад­ной ра­бо­ты хо­ло­диль­ных машин в ре­жи­ме фри­ку­лин­га. Более того, раз­ра­бо­тан­ная ком­па­ни­ей Emerson си­сте­ма Supersaver поз­во­ля­ет управ­лять тем­пе­ра­ту­рой хо­ло­до­но­си­те­ля в со­от­вет­ствии с из­ме­не­ни­я­ми теп­ло­вой на­груз­ки, что уве­ли­чи­ва­ет пе­ри­од вре­ме­ни, в те­че­ние ко­то­ро­го воз­мож­но функ­ци­о­ни­ро­ва­ние си­сте­мы в этом ре­жи­ме. По дан­ным Emerson, при уста­нов­ке чил­ле­ров на 330 кВт режим фри­ку­лин­га поз­во­ля­ет сэко­но­мить 45% элек­тро­энер­гии, кас­кад­ное вклю­че­ние — 5%, тех­но­ло­гия Supersaver — еще 16%, итого — 66%.

Но не все столь оп­ти­ми­стич­ны в от­но­ше­нии фри­ку­лин­га. Алек­сандр Ша­пи­ро на­по­ми­на­ет, что в нашу стра­ну куль­ту­ра ис­поль­зо­ва­ния фри­ку­лин­га в зна­чи­тель­ной мере при­не­се­на с За­па­да, между тем как по­тре­би­тель­ская сто­и­мость этой опции во мно­гом за­ви­сит от сто­и­мо­сти элек­тро­энер­гии, а на се­го­дняш­ний день в Рос­сии и За­пад­ной Ев­ро­пе цены се­рьез­но раз­ли­ча­ют­ся. «Опция фри­ку­лин­га ощу­ти­мо до­ро­га, в Рос­сии же до­ста­точ­но часто ИТ-про­ек­ты пла­ни­ру­ют­ся с де­фи­ци­том бюд­же­та. По­это­му За­каз­чик вы­нуж­ден вы­би­рать: либо обес­пе­чить пла­ни­ру­е­мые тех­ни­че­ские по­ка­за­те­ли ЦОД путем про­сто­го ре­ше­ния (не думая о про­бле­ме уве­ли­че­ния OPEX), либо «ло­мать копья» в по­пыт­ке до­ка­зать це­ле­со­об­раз­ность фри­ку­лин­га, со­гла­ша­ясь на сни­же­ние па­ра­мет­ров ЦОД. В боль­шин­стве слу­ча­ев выбор де­ла­ет­ся в поль­зу пер­во­го ва­ри­ан­та», — за­клю­ча­ет он.

Среди пред­ло­жен­ных За­каз­чи­ку более по­лу­то­ра де­сят­ков ре­ше­ний оди­на­ко­вых нет — даже те, что по­стро­е­ны на ана­ло­гич­ных ком­по­нен­тах од­но­го про­из­во­ди­те­ля, имеют свои осо­бен­но­сти. Это го­во­рит о том, что за­да­чи, свя­зан­ные с охла­жде­ни­ем, от­но­сят­ся к числу наи­бо­лее слож­ных, и ти­по­вые от­ра­бо­тан­ные ре­ше­ния по сути от­сут­ству­ют. Тем не менее, среди пред­став­лен­ных ва­ри­ан­тов За­каз­чик на­вер­ня­ка смо­жет вы­брать наи­бо­лее под­хо­дя­щий с уче­том пред­по­чте­ний в части CAPEX/OPEX и пла­нов по даль­ней­ше­му раз­ви­тию ЦОД.

Алек­сандр Бар­сков — ве­ду­щий ре­дак­тор «Жур­на­ла се­те­вых ре­ше­ний/LAN»

[ http://www.osp.ru/lan/2010/05/13002554/]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center cooling system

система охлаждения ЦОДа
-
[Интент]т

Система охлаждения для небольшого ЦОДа

Александр Барсков

Вы­мыш­лен­ная ком­па­ния (далее За­каз­чик) по­про­си­ла пред­ло­жить си­сте­му охла­жде­ния для стро­я­ще­го­ся ком­мер­че­ско­го ЦОДа. В ос­нов­ном зале пла­ни­ру­ет­ся установить:

• 60 стоек с энер­го­по­треб­ле­ни­ем по 5 кВт (всего 300 кВт) — все эле­мен­ты, необ­хо­ди­мые для обес­пе­че­ния тре­бу­е­мой тем­пе­ра­ту­ры и влаж­но­сти, долж­ны быть уста­нов­ле­ны сразу;
• 16 стоек с энер­го­по­треб­ле­ни­ем по 20 кВт (всего 320 кВт) — это обо­ру­до­ва­ние будет уста­нав­ли­вать­ся по­сте­пен­но (по мере необ­хо­ди­мо­сти), и сред­ства охла­жде­ния пла­ни­ру­ет­ся раз­вер­ты­вать и за­дей­ство­вать по мере под­клю­че­ния и за­груз­ки стоек.

За­каз­чик за­явил, что пред­по­чте­ние будет от­да­но энер­го­эф­фек­тив­ным ре­ше­ни­ям, по­это­му же­ла­тель­но за­дей­ство­вать «зе­ле­ные» тех­но­ло­гии, в первую оче­редь фри­ку­линг (есте­ствен­ное охла­жде­ние на­руж­ным воз­ду­хом — free cooling), и предо­ста­вить рас­чет оку­па­е­мо­сти со­от­вет­ству­ю­щей опции (с уче­том того, что объ­ект на­хо­дит­ся в Мос­ков­ской об­ла­сти). Пла­ни­ру­е­мый уро­вень ре­зер­ви­ро­ва­ния — N+1, но воз­мож­ны и дру­гие ва­ри­ан­ты — при на­ли­чии долж­но­го обос­но­ва­ния. Кроме того, За­каз­чик по­про­сил из­на­чаль­но преду­смот­реть сред­ства мо­ни­то­рин­га энер­го­по­треб­ле­ния с целью оп­ти­ми­за­ции рас­хо­да электроэнергии.

ЧТО ПРО­ГЛЯ­ДЕЛ ЗАКАЗЧИК

В сфор­му­ли­ро­ван­ной в столь общем виде за­да­че не учтен ряд су­ще­ствен­ных де­та­лей, на ко­то­рые не пре­ми­ну­ли ука­зать экс­пер­ты. Так, Дмит­рий Ча­га­ров, ру­ко­во­ди­тель на­прав­ле­ния вен­ти­ля­ции и кон­ди­ци­о­ни­ро­ва­ния ком­па­нии «Ути­лекс», за­ме­тил, что в за­да­нии ни­че­го не ска­за­но о ха­рак­те­ре на­груз­ки. Он, как и осталь­ные про­ек­ти­ров­щи­ки, ис­хо­дил из пред­по­ло­же­ния, что воз­душ­ный поток на­прав­лен с фрон­таль­ной части стоек назад, но, как из­вест­но, неко­то­рые ком­му­та­то­ры спро­ек­ти­ро­ва­ны для охла­жде­ния сбоку — для них при­дет­ся ис­поль­зо­вать спе­ци­аль­ные бо­ко­вые блоки рас­пре­де­ле­ния воз­душ­но­го потока.

В за­да­нии ска­за­но о раз­ме­ще­нии всех стоек (5 и 20 кВт) в ос­нов­ном зале, од­на­ко неко­то­рые экс­пер­ты на­сто­я­тель­но ре­ко­мен­ду­ют вы­де­лить от­дель­ную зону для вы­со­ко­на­гру­жен­ных стоек. По сло­вам Алек­сандра Мар­ты­ню­ка, ге­не­раль­но­го ди­рек­то­ра кон­сал­тин­го­вой ком­па­нии «Ди Си квад­рат», «это будет пра­виль­нее и с точки зре­ния про­ек­ти­ро­ва­ния, и с по­зи­ций удоб­ства экс­плу­а­та­ции». Такое вы­де­ле­ние (изо­ля­ция осу­ществ­ля­ет­ся при по­мо­щи вы­го­ро­док) преду­смот­ре­но, на­при­мер, в про­ек­те ком­па­нии «Ком­плит»: Вла­ди­слав Яко­вен­ко, на­чаль­ник от­де­ла ин­фра­струк­тур­ных про­ек­тов, уве­рен, что по­доб­ное ре­ше­ние, во-пер­вых, об­лег­чит об­слу­жи­ва­ние обо­ру­до­ва­ния, а во-вто­рых, поз­во­лит ис­поль­зо­вать раз­лич­ные тех­но­ло­гии хо­ло­до­снаб­же­ния в раз­ных зонах. Впро­чем, боль­шин­ство про­ек­ти­ров­щи­ков не ис­пы­та­ли осо­бых про­блем при ре­ше­нии за­да­чи по от­во­ду тепла от стоек 5 и 20 кВт, уста­нов­лен­ных в одном помещении.

Один из пер­вых во­про­сов, с ко­то­рым За­каз­чик об­ра­тил­ся к бу­ду­ще­му парт­не­ру, был свя­зан с фаль­шпо­лом: «Необ­хо­дим ли он во­об­ще, и если нужен, то какой вы­со­ты?». Алек­сандр Мар­ты­нюк ука­зал, что гра­мот­ный рас­чет вы­со­ты фаль­шпо­ла воз­мо­жен толь­ко при усло­вии предо­став­ле­ния до­пол­ни­тель­ной ин­фор­ма­ции: о типе стоек (как в них будет ор­га­ни­зо­ва­на по­да­ча охла­жда­ю­ще­го воз­ду­ха?); об ор­га­ни­за­ции ка­бель­ной про­вод­ки (под полом или по­тол­ком? сколь­ко ка­бе­лей? ка­ко­го диа­мет­ра?); об осо­бен­но­стях по­ме­ще­ния (вы­со­та по­тол­ков, со­от­но­ше­ние длин стен, на­ли­чие вы­сту­пов и опор­ных ко­лонн) и т. д. Он со­ве­ту­ет вы­пол­нить тем­пе­ра­тур­но-кли­ма­ти­че­ское мо­де­ли­ро­ва­ние по­ме­ще­ния с уче­том вы­ше­пе­ре­чис­лен­ных па­ра­мет­ров и, если по­тре­бу­ет­ся, уточ­ня­ю­щих дан­ных. В ре­зуль­та­те можно будет под­го­то­вить ре­ко­мен­да­ции в от­но­ше­нии оп­ти­маль­ной вы­со­ты фаль­шпо­ла, а также дать оцен­ку це­ле­со­об­раз­но­сти раз­ме­ще­ния в одном зале стоек с раз­ной энергонагруженностью.

Что ж, мы дей­стви­тель­но не предо­ста­ви­ли всей ин­фор­ма­ции, необ­хо­ди­мой для по­доб­но­го мо­де­ли­ро­ва­ния, и про­ек­ти­ров­щи­кам при­ш­лось до­воль­ство­вать­ся скуд­ны­ми ис­ход­ны­ми дан­ны­ми. И все же, на­де­ем­ся, пред­став­лен­ные ре­ше­ния ока­жут­ся ин­те­рес­ны­ми и по­лез­ны­ми ши­ро­ко­му кругу за­каз­чи­ков. Им оста­нет­ся толь­ко «по­до­гнать» ре­ше­ния «под себя».

«КЛАС­СИ­КА» ОХЛАЖДЕНИЯ

Для сня­тия тепла со стоек при на­груз­ке 5 кВт боль­шин­ство про­ек­ти­ров­щи­ков пред­ло­жи­ли самый рас­про­стра­нен­ный на се­год­ня ва­ри­ант — уста­нов­ку шкаф­ных пре­ци­зи­он­ных кон­ди­ци­о­не­ров, по­да­ю­щих хо­лод­ный воз­дух в про­стран­ство под фаль­шпо­лом. Под­вод воз­ду­ха к обо­ру­до­ва­нию осу­ществ­ля­ет­ся в зоне хо­лод­ных ко­ри­до­ров через пер­фо­ри­ро­ван­ные плиты или воз­ду­хо­рас­пре­де­ли­тель­ные ре­шет­ки фаль­шпо­ла, а отвод воз­ду­ха от кон­ди­ци­о­не­ров — из зоны го­ря­чих ко­ри­до­ров через верх­нюю часть зала или про­стран­ство на­вес­но­го по­тол­ка (см. Рисунок 1). Такая схема может быть ре­а­ли­зо­ва­на толь­ко при на­ли­чии фаль­шпо­ла до­ста­точ­ной высоты

В во­про­се вы­бо­ра места для уста­нов­ки шкаф­ных кон­ди­ци­о­не­ров един­ство мне­ний от­сут­ству­ет, мно­гие ука­за­ли на воз­мож­ность их раз­ме­ще­ния как в сер­вер­ном зале, так и в со­сед­нем по­ме­ще­нии. Алек­сей Кар­пин­ский, ди­рек­тор де­пар­та­мен­та ин­же­нер­ных си­стем ком­па­нии «Асте­рос», уве­рен, что для низ­ко­на­гру­жен­ных стоек луч­шим ре­ше­ни­ем будет вынос «тя­же­лой ин­же­не­рии» за пре­де­лы сер­вер­но­го зала (см. Рисунок 2) — тогда для об­слу­жи­ва­ния кон­ди­ци­о­не­ров внутрь зала вхо­дить не при­дет­ся. «Это по­вы­ша­ет на­деж­ность ра­бо­ты обо­ру­до­ва­ния, ведь, как из­вест­но, наи­бо­лее часто оно вы­хо­дит из строя вслед­ствие че­ло­ве­че­ско­го фак­то­ра, — объ­яс­ня­ет он. — При­чем по­ме­ще­ние с кон­ди­ци­о­не­ра­ми может быть со­вер­шен­но не свя­зан­ным с ма­шин­ным залом и рас­по­ла­гать­ся, на­при­мер, через ко­ри­дор или на дру­гом этаже».

Если стой­ки мощ­но­стью 5 и 20 кВт уста­нав­ли­ва­ют­ся в одном по­ме­ще­нии, Алек­сандр Ласый, за­ме­сти­тель ди­рек­то­ра де­пар­та­мен­та ин­тел­лек­ту­аль­ных зда­ний ком­па­нии «Крок», ре­ко­мен­ду­ет ор­га­ни­зо­вать фи­зи­че­ское раз­де­ле­ние го­ря­чих и хо­лод­ных ко­ри­до­ров. В си­ту­а­ции, когда для вы­со­ко­на­гру­жен­ных стоек вы­де­ля­ет­ся от­дель­ное по­ме­ще­ние, по­доб­но­го раз­де­ле­ния для стоек на 5 кВт не требуется.

ФРЕОН ИЛИ ВОДА

Шкаф­ные кон­ди­ци­о­не­ры на рынке пред­став­ле­ны как во фре­о­но­вом ис­пол­не­нии, так и в ва­ри­ан­тах с во­дя­ным охла­жде­ни­ем. При ис­поль­зо­ва­нии фре­о­но­вых кон­ди­ци­о­не­ров на крыше или при­ле­га­ю­щей тер­ри­то­рии необ­хо­ди­мо преду­смот­реть место для уста­нов­ки кон­ден­са­тор­ных бло­ков, а при во­дя­ном охла­жде­нии по­тре­бу­ет­ся место под на­сос­ную и во­до­охла­жда­ю­щие ма­ши­ны (чиллеры).

Спе­ци­а­ли­сты ком­па­нии «АМД­тех­но­ло­гии» пред­ста­ви­ли За­каз­чи­ку срав­не­ние раз­лич­ных ва­ри­ан­тов фре­о­но­вых и во­дя­ных си­стем кон­ди­ци­о­ни­ро­ва­ния. Наи­бо­лее бюд­жет­ный ва­ри­ант преду­смат­ри­ва­ет уста­нов­ку обыч­ных шкаф­ных фре­о­но­вых кон­ди­ци­о­не­ров HPM M50 UA с по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. При­мер­но на чет­верть до­ро­же обой­дут­ся мо­де­ли кон­ди­ци­о­не­ров с циф­ро­вым спи­раль­ным ком­прес­со­ром и элек­трон­ным тер­мо­рас­ши­ри­тель­ным вен­ти­лем (HPM D50 UA, Digital). Мощ­ность кон­ди­ци­о­не­ров ре­гу­ли­ру­ет­ся в за­ви­си­мо­сти от тем­пе­ра­ту­ры в по­ме­ще­нии, это поз­во­ля­ет до­бить­ся 12-про­цент­ной эко­но­мии элек­тро­энер­гии, а также умень­шить ко­ли­че­ство пусков и оста­но­ва ком­прес­со­ра, что по­вы­ша­ет срок служ­бы си­сте­мы. В слу­чае от­сут­ствия на объ­ек­те фаль­шпо­ла (или его недо­ста­точ­ной вы­со­ты) пред­ло­жен более до­ро­гой по на­чаль­ным вло­же­ни­ям, но эко­но­мич­ный в экс­плу­а­та­ции ва­ри­ант с внут­ри­ряд­ны­ми фре­о­но­вы­ми кондиционерами.

Как по­ка­зы­ва­ет пред­став­лен­ный ана­лиз, фре­о­но­вые кон­ди­ци­о­не­ры менее эф­фек­тив­ны по срав­не­нию с си­сте­мой во­дя­но­го охла­жде­ния. При этом, о чем на­по­ми­на­ет Вик­тор Гав­ри­лов, тех­ни­че­ский ди­рек­тор «АМД­тех­но­ло­гий», фре­о­но­вая си­сте­ма имеет огра­ни­че­ние по длине тру­бо­про­во­да и пе­ре­па­ду высот между внут­рен­ни­ми и на­руж­ны­ми бло­ка­ми (эк­ви­ва­лент­ная общая длина трас­сы фре­о­но­про­во­да не долж­на пре­вы­шать 50 м, а ре­ко­мен­ду­е­мый пе­ре­пад по вы­со­те — 30 м); у во­дя­ной си­сте­мы таких огра­ни­че­ний нет, по­это­му ее можно при­спо­со­бить к любым осо­бен­но­стям зда­ния и при­ле­га­ю­щей тер­ри­то­рии. Важно также пом­нить, что при при­ме­не­нии фре­о­но­вой си­сте­мы пер­спек­ти­вы раз­ви­тия (уве­ли­че­ние плот­но­сти энер­го­по­треб­ле­ния) су­ще­ствен­но огра­ни­че­ны, тогда как при за­клад­ке необ­хо­ди­мой ин­фра­струк­ту­ры по­да­чи хо­лод­ной воды к стой­кам (тру­бо­про­во­ды, на­со­сы, ар­ма­ту­ра) на­груз­ку на стой­ку можно впо­след­ствии уве­ли­чи­вать до 30 кВт и выше, не при­бе­гая к ка­пи­таль­ной ре­кон­струк­ции сер­вер­но­го помещения.

К фак­то­рам, ко­то­рые могут опре­де­лить выбор в поль­зу фре­о­но­вых кон­ди­ци­о­не­ров, можно от­не­сти от­сут­ствие места на улице (на­при­мер из-за невоз­мож­но­сти обес­пе­чить по­жар­ный про­езд) или на кров­ле (вслед­ствие осо­бен­но­стей кон­струк­ции или ее недо­ста­точ­ной несу­щей спо­соб­но­сти) для мон­та­жа мо­но­блоч­ных чил­ле­ров на­руж­ной уста­нов­ки. При этом боль­шин­ство экс­пер­тов еди­но­душ­но вы­ска­зы­ва­ют мне­ние, что при ука­зан­ных мощ­но­стях ре­ше­ние на воде эко­но­ми­че­ски це­ле­со­об­раз­нее и проще в ре­а­ли­за­ции. Кроме того, при ис­поль­зо­ва­нии воды и/или эти­лен­гли­ко­ле­вой смеси в ка­че­стве хо­ло­до­но­си­те­ля можно за­дей­ство­вать ти­по­вые функ­ции фри­ку­лин­га в чиллерах.

Впро­чем, функ­ции фри­ку­лин­га воз­мож­но за­дей­ство­вать и во фре­о­но­вых кон­ди­ци­о­не­рах. Такие ва­ри­ан­ты ука­за­ны в пред­ло­же­ни­ях ком­па­ний RC Group и «Ин­же­нер­ное бюро ’’Хос­сер‘‘», где ис­поль­зу­ют­ся фре­о­но­вые кон­ди­ци­о­не­ры со встро­ен­ны­ми кон­ден­са­то­ра­ми во­дя­но­го охла­жде­ния и внеш­ни­ми теп­ло­об­мен­ни­ка­ми с функ­ци­ей фри­ку­лин­га (сухие гра­дир­ни). Спе­ци­а­ли­сты RC Group сразу от­ка­за­лись от ва­ри­ан­та с уста­нов­кой кон­ди­ци­о­не­ров с вы­нос­ны­ми кон­ден­са­то­ра­ми воз­душ­но­го охла­жде­ния, по­сколь­ку он не со­от­вет­ству­ет тре­бо­ва­нию За­каз­чи­ка за­дей­ство­вать режим фри­ку­лин­га. По­ми­мо уже на­зван­но­го они пред­ло­жи­ли ре­ше­ние на ос­но­ве кон­ди­ци­о­не­ров, ра­бо­та­ю­щих на охла­жден­ной воде. Ин­те­рес­но от­ме­тить, что и про­ек­ти­ров­ши­ки «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» раз­ра­бо­та­ли вто­рой ва­ри­ант на воде.

Если ком­па­ния «АМД­тех­но­ло­гии» пред­ло­жи­ла для стоек на 5 кВт ре­ше­ние на базе внут­ри­ряд­ных кон­ди­ци­о­не­ров толь­ко как один из воз­мож­ных ва­ри­ан­тов, то APC by Schneider Electric (см. Ри­су­нок 3), а также один из парт­не­ров этого про­из­во­ди­те­ля, ком­па­ния «Ути­лекс», от­да­ют пред­по­чте­ние кон­ди­ци­о­не­рам, уста­нав­ли­ва­е­мым в ряды стоек. В обоих ре­ше­ни­ях пред­ло­же­но изо­ли­ро­вать го­ря­чий ко­ри­дор с по­мо­щью си­сте­мы HACS (см. Ри­су­нок 4). «Для эф­фек­тив­но­го охла­жде­ния необ­хо­ди­мо сни­зить по­те­ри при транс­пор­ти­ров­ке хо­лод­но­го воз­ду­ха, по­это­му си­сте­мы кон­ди­ци­о­ни­ро­ва­ния лучше уста­но­вить рядом с на­груз­кой. Раз­ме­ще­ние кон­ди­ци­о­не­ров в от­дель­ном по­ме­ще­нии — такая мо­дель при­ме­ня­лась в со­вет­ских вы­чис­ли­тель­ных цен­трах — в дан­ном слу­чае менее эф­фек­тив­но», — счи­та­ет Дмит­рий Ча­га­ров. В слу­чае ис­поль­зо­ва­ния внут­ри­ряд­ных кон­ди­ци­о­не­ров фаль­шпол уже не яв­ля­ет­ся необ­хо­ди­мо­стью, хотя в про­ек­те «Ути­лек­са» он преду­смот­рен — для про­клад­ки трасс хо­ло­до­снаб­же­ния, элек­тро­пи­та­ния и СКС.

Ми­ха­ил Бал­ка­ров, си­стем­ный ин­же­нер ком­па­нии APC by Schneider Electric, от­ме­ча­ет, что при от­сут­ствии фаль­шпо­ла трубы можно про­ло­жить либо в штро­бах, либо свер­ху, преду­смот­рев до­пол­ни­тель­ный уро­вень за­щи­ты в виде лот­ков или ко­ро­бов для кон­тро­ли­ру­е­мо­го слива воз­мож­ных про­те­чек. Если же фаль­шпол преду­смат­ри­ва­ет­ся, то его ре­ко­мен­ду­е­мая вы­со­та со­став­ля­ет не менее 40 см — из со­об­ра­же­ний удоб­ства про­клад­ки труб.

ЧИЛ­ЛЕР И ЕГО «ОБВЯЗКА»

В боль­шин­стве про­ек­тов преду­смат­ри­ва­ет­ся уста­нов­ка внеш­не­го чил­ле­ра и ор­га­ни­за­ция двух­кон­тур­ной си­сте­мы хо­ло­до­снаб­же­ния. Во внеш­нем кон­ту­ре, свя­зы­ва­ю­щем чил­ле­ры и про­ме­жу­точ­ные теп­ло­об­мен­ни­ки, хо­ло­до­но­си­те­лем слу­жит вод­ный рас­твор эти­лен­гли­ко­ля, а во внут­рен­нем — между теп­ло­об­мен­ни­ка­ми и кон­ди­ци­о­не­ра­ми (шкаф­ны­ми и/или внут­ри­ряд­ны­ми) — цир­ку­ли­ру­ет уже чи­стая вода. Необ­хо­ди­мость ис­поль­зо­ва­ния эти­лен­гли­ко­ля во внеш­нем кон­ту­ре легко объ­яс­ни­ма — это ве­ще­ство зимой не за­мер­за­ет. У За­каз­чи­ка воз­ник ре­зон­ный во­прос: зачем нужен вто­рой кон­тур, и по­че­му нель­зя ор­га­ни­зо­вать всего один — ведь в этом слу­чае КПД будет выше?

По сло­вам Вла­ди­сла­ва Яко­вен­ко, двух­кон­тур­ная схема поз­во­ля­ет сни­зить объем до­ро­го­го хо­ло­до­но­си­те­ля (эти­лен­гли­ко­ля) и яв­ля­ет­ся более эко­ло­гич­ной. Эти­лен­гли­коль — ядо­ви­тое, хи­ми­че­ски ак­тив­ное ве­ще­ство, и если про­теч­ка слу­чит­ся внут­ри по­ме­ще­ния ЦОД, лик­ви­да­ция по­след­ствий такой ава­рии ста­нет се­рьез­ной про­бле­мой для служ­бы экс­плу­а­та­ции. Сле­ду­ет также учи­ты­вать, что при со­дер­жа­нии гли­ко­ля в рас­тво­ре хо­ло­до­но­си­те­ля на уровне 40% по­тре­бу­ют­ся более мощ­ные на­со­сы (из-за вы­со­кой вяз­ко­сти рас­тво­ра), по­это­му по­треб­ле­ние энер­гии и, со­от­вет­ствен­но, экс­плу­а­та­ци­он­ные рас­хо­ды уве­ли­чат­ся. На­ко­нец, тре­бо­ва­ние к мон­та­жу си­сте­мы без гли­ко­ля го­раз­до ниже, а экс­плу­а­ти­ро­вать ее проще.

При ис­поль­зо­ва­нии чил­ле­ров функ­цию «бес­пе­ре­бой­но­го охла­жде­ния» ре­а­ли­зо­вать до­воль­но про­сто: при воз­ник­но­ве­нии пе­ре­бо­ев с по­да­чей элек­тро­энер­гии си­сте­ма спо­соб­на обес­пе­чить охла­жде­ние сер­вер­ной до за­пус­ка ди­зе­ля или кор­рект­но­го вы­клю­че­ния сер­ве­ров за счет хо­лод­ной воды, за­па­сен­ной в ба­ках-ак­ку­му­ля­то­рах. Как от­ме­ча­ет Вик­тор Гав­ри­лов, ре­а­ли­за­ция по­доб­ной схемы поз­во­ля­ет удер­жать из­ме­не­ние гра­ди­ен­та тем­пе­ра­ту­ры в до­пу­сти­мых пре­де­лах (ве­ду­щие про­из­во­ди­те­ли сер­ве­ров тре­бу­ют, чтобы ско­рость из­ме­не­ния тем­пе­ра­ту­ры со­став­ля­ла не более 50С/час, а уве­ли­че­ние этой ско­ро­сти может при­ве­сти к по­лом­ке сер­вер­но­го обо­ру­до­ва­ния, что осо­бен­но часто про­ис­хо­дит при воз­об­нов­ле­нии охла­жде­ния в ре­зуль­та­те рез­ко­го сни­же­ния тем­пе­ра­ту­ры). При про­па­да­нии элек­тро­пи­та­ния для под­дер­жа­ния ра­бо­ты чил­лер­ной си­сте­мы кон­ди­ци­о­ни­ро­ва­ния необ­хо­ди­мо толь­ко обес­пе­чить функ­ци­о­ни­ро­ва­ние пе­ре­ка­чи­ва­ю­щих на­со­сов и вен­ти­ля­то­ров кон­ди­ци­о­не­ров — по­треб­ле­ние от ИБП сво­дит­ся к ми­ни­му­му. Для клас­си­че­ских фре­о­но­вых си­стем необ­хо­ди­мо обес­пе­чить пи­та­ни­ем весь ком­плекс це­ли­ком (при этом все ком­прес­со­ры долж­ны быть осна­ще­ны функ­ци­ей «мяг­ко­го за­пус­ка»), по­это­му тре­бу­ют­ся кон­ди­ци­о­не­ры и ИБП более до­ро­гой комплектации.

КОГДА РАС­ТЕТ ПЛОТНОСТЬ

Боль­шин­ство пред­ло­жен­ных За­каз­чи­ку ре­ше­ний для охла­жде­ния вы­со­ко­на­гру­жен­ных стоек (20 кВт) преду­смат­ри­ва­ет ис­поль­зо­ва­ние внут­ри­ряд­ных кон­ди­ци­о­не­ров. Как по­ла­га­ет Алек­сандр Ласый, ос­нов­ная слож­ность при от­во­де от стой­ки 20 кВт тепла с по­мо­щью клас­си­че­ской схемы охла­жде­ния, ба­зи­ру­ю­щей­ся на шкаф­ных кон­ди­ци­о­не­рах, свя­за­на с по­да­чей охла­жден­но­го воз­ду­ха из-под фаль­шполь­но­го про­стран­ства и до­став­кой его до теп­ло­вы­де­ля­ю­ще­го обо­ру­до­ва­ния. «Зна­чи­тель­ные пе­ре­па­ды дав­ле­ния на пер­фо­ри­ро­ван­ных ре­шет­ках фаль­шпо­ла и вы­со­кие ско­ро­сти дви­же­ния воз­ду­ха со­зда­ют нерав­но­мер­ный воз­душ­ный поток в зоне перед стой­ка­ми даже при раз­де­ле­нии го­ря­чих и хо­лод­ных ко­ри­до­ров, — от­ме­ча­ет он. — Это при­во­дит к нерав­но­мер­но­му охла­жде­нию стоек и их пе­ре­гре­ву. В слу­чае пе­ре­мен­ной за­груз­ки стоек воз­ни­ка­ет необ­хо­ди­мость пе­ре­на­стра­и­вать си­сте­му воз­ду­хо­рас­пре­де­ле­ния через фаль­шпол, что до­воль­но затруднительно».

Впро­чем, неко­то­рые ком­па­нии «риск­ну­ли» пред­ло­жить для стоек на 20 кВт си­сте­му, ос­но­ван­ную на тех же прин­ци­пах, что при­ме­ня­ют­ся для стоек на 5кВт, — по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. По сло­вам Сер­гея Бон­да­ре­ва, ру­ко­во­ди­те­ля от­де­ла про­даж «Вайсс Кли­ма­тех­ник», его опыт по­ка­зы­ва­ет, что уста­нов­ка до­пол­ни­тель­ных ре­ше­ток во­круг стой­ки для уве­ли­че­ния пло­ща­ди се­че­ния, через ко­то­рое по­сту­па­ет хо­лод­ный воз­дух (а зна­чит и его объ­е­ма), поз­во­ля­ет сни­мать теп­ло­вую на­груз­ку в 20 кВт. Ре­ше­ние этой ком­па­нии от­ли­ча­ет­ся от дру­гих про­ек­тов ре­а­ли­за­ци­ей фри­ку­лин­га: кон­струк­ция кон­ди­ци­о­не­ров Deltaclima FC про­из­вод­ства Weiss Klimatechnik поз­во­ля­ет под­во­дить к ним хо­лод­ный воз­дух прямо с улицы.

Ин­те­рес­ное ре­ше­ние пред­ло­жи­ла ком­па­ния «Юни­Конд», парт­нер ита­льян­ской Uniflair: клас­си­че­ская си­сте­ма охла­жде­ния через фаль­шпол до­пол­ня­ет­ся обо­ру­до­ван­ны­ми вен­ти­ля­то­ра­ми мо­ду­ля­ми «ак­тив­но­го пола», ко­то­рые уста­нав­ли­ва­ют­ся вме­сто обыч­ных пли­ток фаль­шпо­ла. По утвер­жде­нию спе­ци­а­ли­стов «Юни­Конд», такие мо­ду­ли поз­во­ля­ют су­ще­ствен­но уве­ли­чить объ­е­мы ре­гу­ли­ру­е­мых по­то­ков воз­ду­ха: до 4500 м³/час вме­сто 800–1000 м³/час от обыч­ной ре­шет­ки 600х600 мм. Они также от­ме­ча­ют, что про­сто уста­но­вить вен­ти­ля­тор в под­поль­ном про­стран­стве недо­ста­точ­но для обес­пе­че­ния га­ран­ти­ро­ван­но­го охла­жде­ния сер­вер­ных стоек. Важно пра­виль­но ор­га­ни­зо­вать воз­душ­ный поток как по дав­ле­нию, так и по на­прав­ле­нию воз­ду­ха, чтобы обес­пе­чить по­да­чу воз­ду­ха не толь­ко в верх­нюю часть стой­ки, но и, в слу­чае необ­хо­ди­мо­сти, в ее ниж­нюю часть. Для этого па­нель «ак­тив­но­го пола» по­ми­мо вен­ти­ля­то­ра ком­плек­ту­ет­ся про­цес­со­ром, дат­чи­ка­ми тем­пе­ра­ту­ры и по­во­рот­ны­ми ла­ме­ля­ми (см. Ри­су­нок 5). При­ме­не­ние мо­ду­лей «ак­тив­но­го пола» без до­пол­ни­тель­ной изо­ля­ции по­то­ков воз­ду­ха поз­во­ля­ет уве­ли­чить мощ­ность стой­ки до 15 кВт, а при гер­ме­ти­за­ции хо­лод­но­го ко­ри­до­ра (в «Юни­Конд» это ре­ше­ние на­зы­ва­ют «хо­лод­ным бас­сей­ном») — до 25 кВт.

Как уже го­во­ри­лось, боль­шин­ство про­ек­ти­ров­щи­ков ре­ко­мен­до­ва­ли для стоек на 20 кВт си­сте­мы с внут­ри­ряд­ным охла­жде­ни­ем и изо­ля­цию по­то­ков го­ря­че­го и хо­лод­но­го воз­ду­ха. Как от­ме­ча­ет Алек­сандр Ласый, ис­поль­зо­ва­ние вы­со­ко­на­гру­жен­ных стоек в со­че­та­нии с внут­ри­ряд­ны­ми кон­ди­ци­о­не­ра­ми поз­во­ля­ет уве­ли­чить плот­ность раз­ме­ще­ния сер­вер­но­го обо­ру­до­ва­ния и со­кра­тить про­стран­ство (ко­ри­до­ры, про­хо­ды) для его об­слу­жи­ва­ния. Вза­им­ное рас­по­ло­же­ние сер­вер­ных стоек и кон­ди­ци­о­не­ров в этом слу­чае сво­дит к ми­ни­му­му нерав­но­мер­ность рас­пре­де­ле­ния хо­ло­да в ава­рий­ной ситуации.

Выбор раз­лич­ных ва­ри­ан­тов за­кры­той ар­хи­тек­ту­ры цир­ку­ля­ции воз­ду­ха пред­ло­жи­ла ком­па­ния «Асте­рос»: от изо­ля­ции хо­лод­но­го (ре­ше­ние от Knuеrr и Emerson) или го­ря­че­го ко­ри­до­ра (APC) до изо­ля­ции воз­душ­ных по­то­ков на уровне стой­ки (Rittal, APC, Emerson, Knuеrr). При­чем, как от­ме­ча­ет­ся в про­ек­те, 16 вы­со­ко­на­гру­жен­ных стоек можно раз­ме­стить и в от­дель­ном по­ме­ще­нии, и в общем зале. В ка­че­стве ва­ри­ан­тов кон­ди­ци­о­нер­но­го обо­ру­до­ва­ния спе­ци­а­ли­сты «Асте­рос» рас­смот­ре­ли воз­мож­ность уста­нов­ки внут­ри­ряд­ных кон­ди­ци­о­не­ров APC InRowRP/RD (с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра), Emerson CR040RC и за­кры­тых ре­ше­ний на базе обо­ру­до­ва­ния Knuеrr CoolLoop — во всех этих слу­ча­ях обес­пе­чи­ва­ет­ся ре­зер­ви­ро­ва­ние на уровне ряда по схеме N+1. Еще один ва­ри­ант — ряд­ные кон­ди­ци­о­не­ры LCP ком­па­нии Rittal, со­сто­я­щие из трех охла­жда­ю­щих мо­ду­лей, каж­дый из ко­то­рых можно за­ме­нить в «го­ря­чем» ре­жи­ме. В пол­ной мере до­ка­зав свою «вен­до­ро­не­за­ви­си­мость», ин­те­гра­то­ры «Асте­рос» все же от­ме­ти­ли, что при ис­поль­зо­ва­нии мо­но­брен­до­во­го ре­ше­ния, на­при­мер на базе про­дук­тов Emerson, все эле­мен­ты могут быть объ­еди­не­ны в еди­ную ло­каль­ную сеть, что поз­во­лит оп­ти­ми­зи­ро­вать ра­бо­ту си­сте­мы и сни­зить рас­ход энергии.

Как по­ла­га­ют в «Асте­рос», раз­ме­щать тру­бо­про­во­ды в под­по­то­лоч­ной зоне неже­ла­тель­но, по­сколь­ку при на­ли­чии под­вес­но­го по­тол­ка об­на­ру­жить и предот­вра­тить про­теч­ку и об­ра­зо­ва­ние кон­ден­са­та очень слож­но. По­это­му они ре­ко­мен­ду­ют обу­стро­ить фаль­шпол вы­со­той до 300 мм — этого до­ста­точ­но для про­клад­ки ка­бель­ной про­дук­ции и тру­бо­про­во­дов хо­ло­до­снаб­же­ния. Так же как и в ос­нов­ном полу, здесь необ­хо­ди­мо преду­смот­реть сред­ства для сбора жид­ко­сти при воз­ник­но­ве­нии ава­рий­ных си­ту­а­ций (гид­ро­изо­ля­ция, при­ям­ки, разу­к­лон­ка и т. д.).

Как и шкаф­ные кон­ди­ци­о­не­ры, внут­ри­ряд­ные до­вод­чи­ки вы­пус­ка­ют­ся не толь­ко в во­дя­ном, но и во фре­о­но­вом ис­пол­не­нии. На­при­мер, но­вин­ка ком­па­нии RC Group — внут­ри­ряд­ные си­сте­мы охла­жде­ния Coolside — по­став­ля­ет­ся в сле­ду­ю­щих ва­ри­ан­тах: с фре­о­но­вы­ми внут­рен­ни­ми бло­ка­ми, с внут­рен­ни­ми бло­ка­ми на охла­жден­ной воде, с одним на­руж­ным и одним внут­рен­ним фре­о­но­вым бло­ком, а также с одним на­руж­ным и несколь­ки­ми внут­рен­ни­ми фре­о­но­вы­ми бло­ка­ми. Учи­ты­вая по­же­ла­ние За­каз­чи­ка от­но­си­тель­но энер­го­сбе­ре­же­ния, для дан­но­го про­ек­та вы­бра­ны си­сте­мы Coolside, ра­бо­та­ю­щие на охла­жден­ной воде, по­лу­ча­е­мой от чил­ле­ра. Число чил­ле­ров, уста­нов­лен­ных на пер­вом этапе про­ек­та, при­дет­ся вдвое увеличить.

Для вы­со­ко­плот­ных стоек ком­па­ния «АМД­тех­но­ло­гии» раз­ра­бо­та­ла несколь­ко ва­ри­ан­тов ре­ше­ний — в за­ви­си­мо­сти от кон­цеп­ции, при­ня­той для стоек на 5 кВт. Если За­каз­чик вы­бе­рет бюд­жет­ный ва­ри­ант (фре­о­но­вые кон­ди­ци­о­не­ры), то в стой­ках на 20 кВт пред­ла­га­ет­ся уста­но­вить ряд­ные кон­ди­ци­о­не­ры-до­вод­чи­ки XDH, а в ка­че­стве хо­ло­диль­ной ма­ши­ны — чил­лер внут­рен­ней уста­нов­ки с вы­нос­ны­ми кон­ден­са­то­ра­ми XDC, обес­пе­чи­ва­ю­щий цир­ку­ля­цию хо­ло­до­но­си­те­ля для до­вод­чи­ков XDH. Если же За­каз­чик с са­мо­го на­ча­ла ори­ен­ти­ру­ет­ся на чил­ле­ры, то ре­ко­мен­ду­ет­ся до­ба­вить еще один чил­лер SBH 030 и также ис­поль­зо­вать кон­ди­ци­о­не­ры-до­вод­чи­ки XDH. Чтобы «раз­вя­зать» чил­лер­ную воду и фреон 134, ис­поль­зу­е­мый кон­ди­ци­о­не­ра­ми XDH, при­ме­ня­ют­ся спе­ци­аль­ные гид­рав­ли­че­ские мо­ду­ли XDP (см. Рисунок 6).

Спе­ци­а­ли­сты са­мо­го про­из­во­ди­те­ля — ком­па­нии Emerson Network — преду­смот­ре­ли толь­ко один ва­ри­ант, ос­но­ван­ный на раз­ви­тии чил­лер­ной си­сте­мы, пред­ло­жен­ной для стоек на 5 кВт. Они от­ме­ча­ют, что ис­поль­зо­ва­ние в си­сте­ме Liebert XD фрео­на R134 ис­клю­ча­ет ввод воды в по­ме­ще­ние ЦОД. В ос­но­ву ра­бо­ты этой си­сте­мы по­ло­же­но свой­ство жид­ко­стей по­гло­щать тепло при ис­па­ре­нии. Жид­кий хо­ло­до­но­си­тель, на­гне­та­е­мый на­со­сом, ис­па­ря­ет­ся в теп­ло­об­мен­ни­ках бло­ков охла­жде­ния XDH, а затем по­сту­па­ет в мо­дуль XDP, где вновь пре­вра­ща­ет­ся в жид­кость в ре­зуль­та­те про­цес­са кон­ден­са­ции. Таким об­ра­зом, ком­прес­си­он­ный цикл, при­сут­ству­ю­щий в тра­ди­ци­он­ных си­сте­мах, ис­клю­ча­ет­ся. Даже если слу­чит­ся утеч­ка жид­ко­сти, эко­ло­ги­че­ски без­вред­ный хо­ло­до­но­си­тель про­сто ис­па­рит­ся, не при­чи­нив ни­ка­ко­го вреда оборудованию.

Дан­ная схема пред­по­ла­га­ет воз­мож­ность по­этап­но­го ввода обо­ру­до­ва­ния: по мере уве­ли­че­ния мощ­но­сти на­груз­ки уста­нав­ли­ва­ют­ся до­пол­ни­тель­ные до­вод­чи­ки, ко­то­рые под­со­еди­ня­ют­ся к су­ще­ству­ю­щей си­сте­ме тру­бо­про­во­дов при по­мо­щи гиб­ких под­во­док и быст­ро­разъ­ем­ных со­еди­не­ний, что не тре­бу­ет оста­нов­ки си­сте­мы кондиционирования.

СПЕЦ­ШКА­ФЫ

Как счи­та­ет Алек­сандр Ша­пи­ро, на­чаль­ник от­де­ла ин­же­нер­ных си­стем «Кор­по­ра­ции ЮНИ», теп­ло­вы­де­ле­ние 18–20 кВт на шкаф — это при­мер­но та гра­ни­ца, когда тепло можно от­ве­сти за ра­зум­ную цену тра­ди­ци­он­ны­ми ме­то­да­ми (с при­ме­не­ни­ем внут­ри­ряд­ных и/или под­по­то­лоч­ных до­вод­чи­ков, вы­го­ра­жи­ва­ния рядов и т. п.). При более вы­со­кой плот­но­сти энер­го­по­треб­ле­ния вы­год­нее ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы с ло­каль­ны­ми си­сте­ма­ми во­дя­но­го охла­жде­ния. Же­ла­ние при­ме­нить для от­во­да тепла от вто­рой груп­пы шка­фов тра­ди­ци­он­ные ме­то­ды объ­яс­ни­мо, но, как пре­ду­пре­жда­ет спе­ци­а­лист «Кор­по­ра­ции ЮНИ», по­яв­ле­ние в зале новых энер­го­ем­ких шка­фов по­тре­бу­ет мон­та­жа до­пол­ни­тель­ных хо­ло­диль­ных машин, из­ме­не­ния кон­фи­гу­ра­ции вы­го­ро­док, кон­тро­ля за из­ме­нив­шей­ся «теп­ло­вой кар­ти­ной». Про­ве­де­ние таких («гряз­ных») работ в дей­ству­ю­щем ЦОДе не це­ле­со­об­раз­но. По­это­му в ка­че­стве энер­го­ем­ких шка­фов спе­ци­а­ли­сты «Кор­по­ра­ции ЮНИ» пред­ло­жи­ли ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы CoolLoop с от­во­дом тепла водой про­из­вод­ства Knuеrr в ва­ри­ан­те с тремя мо­ду­ля­ми охла­жде­ния (10 кВт каж­дый, N+1). По­доб­ный ва­ри­ант преду­смот­ре­ли и неко­то­рые дру­гие про­ек­ти­ров­щи­ки.

Ми­ну­сы та­ко­го ре­ше­ния свя­за­ны с по­вы­ше­ни­ем сто­и­мо­сти про­ек­та (CAPEX) и необ­хо­ди­мо­стью за­ве­де­ния воды в сер­вер­ный зал. Глав­ный плюс — в от­лич­ной мас­шта­би­ру­е­мо­сти: уста­нов­ка новых шка­фов не до­бав­ля­ет теп­ло­вой на­груз­ки в зале и не при­во­дит к пе­ре­рас­пре­де­ле­нию тепла, а под­клю­че­ние шкафа к си­сте­ме хо­ло­до­снаб­же­ния За­каз­чик может вы­пол­нять сво­и­ми си­ла­ми. Кроме того, он имеет воз­мож­ность путем до­бав­ле­ния вен­ти­ля­ци­он­но­го мо­ду­ля от­ве­сти от шкафа еще 10 кВт тепла (всего 30 кВт при со­хра­не­нии ре­зер­ви­ро­ва­ния N+1) — фак­ти­че­ски это ре­зерв для роста. На­ко­нец, как утвер­жда­ет Алек­сандр Ша­пи­ро, с точки зре­ния энер­го­сбе­ре­же­ния (OPEX) дан­ное ре­ше­ние яв­ля­ет­ся наи­бо­лее эффективным.

В про­ек­те «Кор­по­ра­ции ЮНИ» шкафы CoolLoop пред­по­ла­га­ет­ся уста­но­вить в общем сер­вер­ном зале с уче­том прин­ци­па че­ре­до­ва­ния го­ря­чих и хо­лод­но­го ко­ри­до­ров, чем га­ран­ти­ру­ет­ся ра­бо­то­спо­соб­ность шка­фов при ава­рий­ном или тех­но­ло­ги­че­ском от­кры­ва­нии две­рей. При­чем общее кон­ди­ци­о­ни­ро­ва­ние воз­ду­ха в зоне энер­го­ем­ких шка­фов обес­пе­чи­ва­ет­ся ана­ло­гич­но ос­нов­ной зоне сер­вер­но­го зала за одним ис­клю­че­ни­ем — запас хо­ло­да со­став­ля­ет 20–30 кВт. Кон­ди­ци­о­не­ры ре­ко­мен­до­ва­но уста­но­вить в от­дель­ном по­ме­ще­нии, смеж­ном с сер­вер­ным залом и залом раз­ме­ще­ния ИБП (см. Рисунок 7). Такая ком­по­нов­ка имеет ряд пре­иму­ществ: во-пер­вых, тем самым раз­гра­ни­чи­ва­ют­ся зоны от­вет­ствен­но­сти служ­бы кон­ди­ци­о­ни­ро­ва­ния и ИТ-служб (со­труд­ни­кам служ­бы кон­ди­ци­о­ни­ро­ва­ния нет необ­хо­ди­мо­сти за­хо­дить в сер­вер­ный зал); во-вто­рых, из зоны раз­ме­ще­ния кон­ди­ци­о­не­ров обес­пе­чи­ва­ет­ся по­да­ча/забор воз­ду­ха как в сер­вер­ный зал, так и в зал ИБП; в-тре­тьих, со­кра­ща­ет­ся число ре­зерв­ных кон­ди­ци­о­не­ров (ре­зерв общий).

ФРИ­КУ­ЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Как и про­сил За­каз­чик, все про­ек­ти­ров­щи­ки вклю­чи­ли функ­цию фри­ку­лин­га в свои ре­ше­ния, но мало кто рас­счи­тал энер­ге­ти­че­скую эф­фек­тив­ность ее ис­поль­зо­ва­ния. Такой рас­чет про­вел Ми­ха­ил Бал­ка­ров из APC by Schneider Electric. Вы­де­лив три ре­жи­ма ра­бо­ты си­сте­мы охла­жде­ния — с тем­пе­ра­ту­рой гли­ко­ле­во­го кон­ту­ра 22, 20 и 7°С (режим фри­ку­лин­га), — для каж­до­го он ука­зал ее по­треб­ле­ние (в про­цен­тах от по­лез­ной на­груз­ки) и ко­эф­фи­ци­ент энер­ге­ти­че­ской эф­фек­тив­но­сти (Energy Efficiency Ratio, EER), ко­то­рый опре­де­ля­ет­ся как от­но­ше­ние хо­ло­до­про­из­во­ди­тель­но­сти кон­ди­ци­о­не­ра к по­треб­ля­е­мой им мощ­но­сти. Для на­груз­ки в 600 кВт сред­не­го­до­вое по­треб­ле­ние пред­ло­жен­ной АРС си­сте­мы охла­жде­ния ока­за­лось рав­ным 66 кВт с функ­ци­ей фри­ку­лин­га и 116 кВт без та­ко­вой. Раз­ни­ца 50 кВт в год дает эко­но­мию 438 тыс. кВт*ч.

Объ­яс­няя вы­со­кую энер­го­эф­фек­тив­ность пред­ло­жен­но­го ре­ше­ния, Ми­ха­ил Бал­ка­ров от­ме­ча­ет, что в первую оче­редь эти по­ка­за­те­ли обу­слов­ле­ны вы­бо­ром чил­ле­ров с вы­со­ким EER и при­ме­не­ни­ем эф­фек­тив­ных внут­рен­них бло­ков — по его дан­ным, внут­ри­ряд­ные мо­де­ли кон­ди­ци­о­не­ров в со­че­та­нии с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра обес­пе­чи­ва­ют при­мер­но дву­крат­ную эко­но­мию по срав­не­нию с наи­луч­ши­ми фаль­шполь­ны­ми ва­ри­ан­та­ми и по­лу­то­ра­крат­ную эко­но­мию по срав­не­нию с ре­ше­ни­я­ми, где ис­поль­зу­ет­ся кон­тей­не­ри­за­ция хо­лод­но­го ко­ри­до­ра. Вклад же соб­ствен­но фри­ку­лин­га вто­ри­чен — имен­но по­это­му ра­бо­чая тем­пе­ра­ту­ра воды вы­бра­на не самой вы­со­кой (всего 12°С).

По рас­че­там спе­ци­а­ли­стов «Ком­плит», в усло­ви­ях Мос­ков­ской об­ла­сти пред­ло­жен­ное ими ре­ше­ние с функ­ци­ей фри­ку­лин­га за год поз­во­ля­ет сни­зить рас­ход элек­тро­энер­гии при­мер­но на 50%. Дан­ная функ­ция (в про­ек­те «Ком­плит») ак­ти­ви­зи­ру­ет­ся при тем­пе­ра­ту­ре около +7°С, при по­ни­же­нии тем­пе­ра­ту­ры на­руж­но­го воз­ду­ха вклад фри­ку­лин­га в хо­ло­до­про­из­во­ди­тель­ность будет воз­рас­тать. Пол­но­стью си­сте­ма вы­хо­дит на режим эко­но­мии при тем­пе­ра­ту­ре ниже -5°С.

Спе­ци­а­ли­сты «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» пред­ло­жи­ли рас­чет эко­но­мии, ко­то­рую дает при­ме­не­ние кон­ди­ци­о­не­ров с функ­ци­ей фри­ку­лин­га (мо­дель ALD-702-GE) по срав­не­нию с ис­поль­зо­ва­ни­ем устройств, не осна­щен­ных такой функ­ци­ей (мо­дель ASD-802-A). Как и про­сил За­каз­чик, рас­чет при­вя­зан к Мос­ков­ско­му ре­ги­о­ну (см. Рисунок 8).

Как от­ме­ча­ет Вик­тор Гав­ри­лов, энер­го­по­треб­ле­ние в лет­ний пе­ри­од (при мак­си­маль­ной за­груз­ке) у фре­о­но­вой си­сте­мы ниже, чем у чил­лер­ной, но при тем­пе­ра­ту­ре менее 14°С, энер­го­по­треб­ле­ние по­след­ней сни­жа­ет­ся, что обу­слов­ле­но ра­бо­той фри­ку­лин­га. Эта функ­ция поз­во­ля­ет су­ще­ствен­но по­вы­сить срок экс­плу­а­та­ции и на­деж­ность си­сте­мы, так как в зим­ний пе­ри­од ком­прес­со­ры прак­ти­че­ски не ра­бо­та­ют — в связи с этим ре­сурс ра­бо­ты чил­лер­ных си­стем, как ми­ни­мум, в пол­то­ра раза боль­ше чем у фреоновых.

К пре­иму­ще­ствам пред­ло­жен­ных За­каз­чи­ку чил­ле­ров Emerson Вик­тор Гав­ри­лов от­но­сит воз­мож­ность их объ­еди­не­ния в еди­ную сеть управ­ле­ния и ис­поль­зо­ва­ния функ­ции кас­кад­ной ра­бо­ты хо­ло­диль­ных машин в ре­жи­ме фри­ку­лин­га. Более того, раз­ра­бо­тан­ная ком­па­ни­ей Emerson си­сте­ма Supersaver поз­во­ля­ет управ­лять тем­пе­ра­ту­рой хо­ло­до­но­си­те­ля в со­от­вет­ствии с из­ме­не­ни­я­ми теп­ло­вой на­груз­ки, что уве­ли­чи­ва­ет пе­ри­од вре­ме­ни, в те­че­ние ко­то­ро­го воз­мож­но функ­ци­о­ни­ро­ва­ние си­сте­мы в этом ре­жи­ме. По дан­ным Emerson, при уста­нов­ке чил­ле­ров на 330 кВт режим фри­ку­лин­га поз­во­ля­ет сэко­но­мить 45% элек­тро­энер­гии, кас­кад­ное вклю­че­ние — 5%, тех­но­ло­гия Supersaver — еще 16%, итого — 66%.

Но не все столь оп­ти­ми­стич­ны в от­но­ше­нии фри­ку­лин­га. Алек­сандр Ша­пи­ро на­по­ми­на­ет, что в нашу стра­ну куль­ту­ра ис­поль­зо­ва­ния фри­ку­лин­га в зна­чи­тель­ной мере при­не­се­на с За­па­да, между тем как по­тре­би­тель­ская сто­и­мость этой опции во мно­гом за­ви­сит от сто­и­мо­сти элек­тро­энер­гии, а на се­го­дняш­ний день в Рос­сии и За­пад­ной Ев­ро­пе цены се­рьез­но раз­ли­ча­ют­ся. «Опция фри­ку­лин­га ощу­ти­мо до­ро­га, в Рос­сии же до­ста­точ­но часто ИТ-про­ек­ты пла­ни­ру­ют­ся с де­фи­ци­том бюд­же­та. По­это­му За­каз­чик вы­нуж­ден вы­би­рать: либо обес­пе­чить пла­ни­ру­е­мые тех­ни­че­ские по­ка­за­те­ли ЦОД путем про­сто­го ре­ше­ния (не думая о про­бле­ме уве­ли­че­ния OPEX), либо «ло­мать копья» в по­пыт­ке до­ка­зать це­ле­со­об­раз­ность фри­ку­лин­га, со­гла­ша­ясь на сни­же­ние па­ра­мет­ров ЦОД. В боль­шин­стве слу­ча­ев выбор де­ла­ет­ся в поль­зу пер­во­го ва­ри­ан­та», — за­клю­ча­ет он.

Среди пред­ло­жен­ных За­каз­чи­ку более по­лу­то­ра де­сят­ков ре­ше­ний оди­на­ко­вых нет — даже те, что по­стро­е­ны на ана­ло­гич­ных ком­по­нен­тах од­но­го про­из­во­ди­те­ля, имеют свои осо­бен­но­сти. Это го­во­рит о том, что за­да­чи, свя­зан­ные с охла­жде­ни­ем, от­но­сят­ся к числу наи­бо­лее слож­ных, и ти­по­вые от­ра­бо­тан­ные ре­ше­ния по сути от­сут­ству­ют. Тем не менее, среди пред­став­лен­ных ва­ри­ан­тов За­каз­чик на­вер­ня­ка смо­жет вы­брать наи­бо­лее под­хо­дя­щий с уче­том пред­по­чте­ний в части CAPEX/OPEX и пла­нов по даль­ней­ше­му раз­ви­тию ЦОД.

Алек­сандр Бар­сков — ве­ду­щий ре­дак­тор «Жур­на­ла се­те­вых ре­ше­ний/LAN»

[ http://www.osp.ru/lan/2010/05/13002554/]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center cooling system

положи́ть кни́гу на сто́л — покла́сти кни́жку (кни́гу) на стіл

сесть на ме́сто — сі́сти на мі́сце

глу́х на одно́ ухо́ — глухи́й на одно́ (на одне́) ву́хо

ста́рше на шесть лет — ста́рший на шість ро́ків

на день — на день

взять на не́которое вре́мя — узя́ти на яки́йсь (на де́який) час

на за́втра — на завтра

идти́ на работу — іти́ на роботу (до робо́ти)

учи́ться на сле́саря — учи́тися на слю́саря

отре́з на пальто́ — відріз на пальто́

ве́домость на вы́дачу зарплаты — відомість на ви́дачу зарпла́ти

лежа́ть на кровати — лежа́ти на лі́жку

на его́ отве́тственности — на його́ відповіда́льності

служи́ть на фло́те — служи́ти на (у) фло́ті

на мои́х глаза́х — на моїх оча́х, у ме́не пе́ред очи́ма, пе́ред мої́ми очи́ма

на ста́рости лет — на (при) ста́рості літ

игра́ть на свире́ли — грати на сопілці (на сопі́лку, в сопі́лку)

е́хать на парохо́де — ї́хати паропла́вом (на паропла́ві)

стол на трёх но́жках — стіл на трьох ні́жках (з трьома́ ні́жками)

говори́ть на не́скольких языка́х — говори́ти кількома́ мо́вами

обуча́ться на родно́м языке́ — навча́тися рі́дною мо́вою

писа́ть на украи́нском языке́ — писа́ти украї́нською мо́вою

на, возьми́! — на, візьми́!

на́-ка, на́-поди, да и на́-поди — диви́сь, диви́сь ти, ти диви́сь, диви́, диви́но, ти диви́, глянь, ти глянь

како́й (что) ни на е́сть — см. ни I 2)

il faut consommer moins d'énergie — ну́жно расхо́довать ме́ньше эне́ргии

V— 1 (racine de—

║ cela vous coûtera mille francs moins 12% — э́то вам обойдётся в ты́сячу фра́нков ∫ ми́нус двена́дцать <за вы́четом двена́дцати>. проце́нтов

il est dix heures moins cinq — сей час без пяти́ де́сять;

c'est le même livre moins les illustrations — э́то та же кни́га, то́лько без <за исключе́нием> иллюстра́ций

vous auriez pu à tout le moins me prévenir — вы могли́ бы меня́ хотя́ бы предупреди́ть;

c'est le même appartement en moins grand — э́то така́я же кварти́ра, но ме́ньше

ce jugement est pour le moins contestable — э́то мне́ние во ме́ньшей ме́ре спо́рно;

elle n'est rien moins que curieuse — она́ ∫ совсе́м не любопы́тна <не така́я уж любопы́тная>

quel courage! il n'est rien moins qu'un héros — вот э́то му́жество! Он настоя́щий <пря́мо> геро́й;

moins il travaille. moins il veut travailler — чем ме́ньше он рабо́тает, тем ме́ньше ему́ хо́чется рабо́тать;

plus il criait, moins on l'écoutait — чем гро́мче <бо́льше> он крича́л, тем ме́ньше его́ слу́шали;

moins il travaille, plus il réclame — чем ме́ньше он рабо́тает, тем бо́льше тре́бует;

го́род лежи́т при реке́ — мі́сто лежи́ть ко́ло (бі́ля, побі́ля) рі́чки (ріки́)

жи́ть при ста́нции — жи́ти ко́ло (бі́ля, при) ста́нції

при вхо́де стои́т часово́й — ко́ло вхо́ду (бі́ля вхо́ду, при вхо́ді) стої́ть вартови́й

при доро́ге — при доро́зі, край доро́ги

би́тва при Бородине́ — би́тва (бій) під Бородіно́м (ко́ло Бородіна́, бі́ля Бородіна́)

он находи́лся всё вре́мя при мне — він був весь час ко́ло (бі́ля, по́руч) ме́не

при сём прилага́ются докуме́нты — до цьо́го додаю́ться докуме́нти

при заво́де есть библиоте́ка — при заво́ді є бібліоте́ка

оста́вить при университе́те — залиши́ти (лиши́ти) при університе́ті

чи́слиться при шта́бе — рахува́тися при шта́бі

при дворе́ — при дворі́

быть при ме́сте — бу́ти на поса́ді

при деньга́х — бу́ти при гро́шах

быть при ору́жии — бу́ти при збро́ї

при часа́х — з годи́нником, ма́ючи при собі́ годи́нник

де́ньги бы́ли при мне — гро́ші були́ при мені́ (зі мно́ю)

при посторо́нних — при сторо́нніх

при свиде́телях — при сві́дках

при мои́х глаза́х — на мої́х оча́х, у ме́не на оча́х

при ско́рости в сто киломе́тров — за шви́дкості в сто кіломе́трів

при температу́ре в три́дцать гра́дусов — за температу́ри в три́дцять гра́дусів

при жела́нии — при бажа́нні

при таки́х усло́виях — за таки́х умо́в

при вся́кой пого́де — за вся́кої пого́ди

при гро́мких аплодисме́нтах зри́телей — під гу́чні о́плески глядачі́в

при одно́м воспомина́нии об э́том — на саму́ зга́дку про це; від само́ї зга́дки про це, від само́го спо́гаду (спо́мину) про це

при одно́й мы́сли об э́том — від само́ї ду́мки про це

при э́тих слова́х он поклони́лся — сказа́вши це, він вклони́вся

при зву́ке его́ го́лоса все огляну́лись — почу́вши його́ го́лос, усі́ огляну́лися (озирну́лися)

я присоединю́сь к вам при пе́рвом ва́шем зо́ве — я приєдна́юся до вас на пе́рший ваш за́клик

при исполне́нии служе́бных обя́занностей — під час викона́ння (вико́нування) службо́вих обо́в'язків

при подписа́нии догово́ра — під час підписа́ння до́говору и догово́ру

при жи́зни — за життя́

при слу́чае — при наго́ді

при Пари́жской комму́не — за Пари́зької кому́ни, під час Пари́зької кому́ни

при Петре́ Пе́рвом — за Петра́ Пе́ршого

при по́мощи чего́ — за допомо́ги (з допомо́гою) чого́

при всех мои́х уси́лиях я не могу́ убеди́ть его́ — по́при всі мої зуси́лля я не мо́жу перекона́ти його́

при всём том — при всьо́му то́му

traduire du français en russe — переводи́ть/перевести́ с францу́зского [языка́] на ру́сский

sortir de table — выходи́ть/вы́йти из-за стола́

s'éloigner de la maison — отходи́ть/ отойти́ от до́ма

une lettre du 10 mai — письмо́ от деся́того ма́я

ils gagnent 30 francs de l'heure — они́ зараба́тывают три́дцать фра́нков в час < за час>

être puni de ses fautes — быть нака́занным за свои́ оши́бки;

le livre de notre maître — кни́га на́шего учи́теля

un sac de charbon — мешо́к из-под у́гля

une femme d'une rare beauté — же́нщина ре́дкой красоты́, о́чень краси́вая же́нщина

une commission de 10 membres — коми́ссия из десяти́ челове́к

le meilleur de tous [— са́мый] лу́чший из всех

le moins bon de l'année [— са́мый] ху́дший за год

le roi des rois — царь царе́й

le ciel est d'un bleu! — не́бо тако́е си́нее!;

si j'étais de vous — е́сли бы я был на ва́шем ме́сте

quelqu'un de mes amis — кто-то из мои́х друзе́й;

il n'a pas d'argent — у него́ нет де́нег;

го́род лежи́т по обо́им берега́м реки́ — мі́сто лежи́ть по (на) обо́х берега́х рі́чки (ріки́)

доро́га пролега́ла по боло́ту — доро́га йшла́ боло́том(по боло́ту)

по грани́це — вздовж кордо́ну

по́лзать по́ полу — по́взати (ла́зити) по підло́зі

по обе́им сторона́м чего́ — по оби́два боки́ (оба́біч, з обо́х бокі́в, по оби́дві сто́рони) чого́

бе́гать по магази́нам — бі́гати по магази́нах

гуля́ть по го́роду — гуля́ти мі́стом

зайти́ по доро́ге к кому́ — зайти́ по доро́зі до ко́го

по места́м! — на місця́!

ходи́ть по ко́мнате — ходи́ти по кімна́ті

идти́ по ве́тру — іти́ за ві́тром

идти́ по чьи́м следа́м — іти́ чиї́ми сліда́ми (по чиї́х сліда́х)

плы́ть по тече́нию — пливти́ (пли́сти́) за течіє́ю (за водо́ю)

по все́м направле́ниям — в усі́х на́прямах (на́прямках)

по направле́нию к ле́су — у на́прямі (у на́прямку) до лі́су

бараба́нить по кры́ше — бараба́нити по даху́

связа́ть по рука́м — и

нога́м кого́ — зв'яза́ти ру́ки й но́ги кому́

стреля́ть по проти́внику (по врагу́) — стріля́ти в проти́вника (у во́рога, по проти́вникові, по во́рогові)

дежу́рный по шко́ле — черго́вий по шко́лі

иссле́дования по фи́зике — дослі́дження з фі́зики

прика́з по а́рмии — нака́з по а́рмії

второ́й по ва́жности — дру́гий за важли́вістю (щодо важли́вості)

до́брый по нату́ре — до́брий за вда́чею, до́брої вда́чі, до́брий з нату́ри

курс ле́кций по агра́рному вопро́су — курс ле́кцій з агра́рного пита́ння

литерату́ра по э́тому вопро́су — літерату́ра з цього́ пита́ння

ме́дик по образова́нию — ме́дик за осві́тою

огро́мная по свои́м масшта́бам рабо́та — величе́зна свої́ми масшта́бами (щодо свої́х масшта́бів, за своїми масшта́бами) робо́та (пра́ця), ро́бота (пра́ця) величе́зних масшта́бів

отли́чный по каче́ству — відмі́нної я́кості

по по́воду — з при́воду

по спо́собу образова́ния — за спо́собом (щодо спо́собу) утво́рення

ста́рший по во́зрасту — ста́рший ві́ком (за ві́ком)

схо́дный по вку́су — и

по цве́ту — схо́жий (поді́бний) на сма́к і за ко́льором (і ко́льором, і на ко́лір, і щодо ко́льору)

называ́ть по и́мени — назива́ти на ім'я́

называ́ть по и́мени — и

о́тчеству — назива́ти на ім'я́ і по ба́тькові

ро́дственник по му́жу — ро́дич по чолові́кові

ви́дно по глаза́м — ви́дно по оча́х

зна́ть по ви́ду — зна́ти на ви́гляд

зна́ть по газе́там — зна́ти з газе́т

не по си́лам — не під си́лу, не до сна́ги

по а́дресу — на адре́су

по ви́ду — на ви́гляд

по возмо́жности — по можли́вості, по змо́зі

по его́ жела́нию — на його́ бажа́ння, за його́ бажа́нням

по его́ зо́ву — на його́ за́клик

по зака́зу — на замо́влення

по зако́ну — за зако́ном, згі́дно з зако́ном

по заслу́ге — по заслу́зі

получа́ть по счёту — оде́ржувати за раху́нком (згі́дно з раху́нком)

по моему́ мне́нию — на мою́ ду́мку, на мі́й по́гляд

по на́шей инициати́ве — з на́шої ініціати́ви, за на́шою ініціати́вою

по образцу́ — за зразко́м

по обы́чаю — за (згі́дно із) зви́чаєм

по о́череди — почерго́во, за че́ргою, че́ргою, почере́жно

по пла́ну — за пла́ном, по пла́ну

по поруче́нию — з дору́чення, за дору́ченням

по после́дней мо́де — за оста́нньою мо́дою

по предложе́нию — за пропози́цією, на пропози́цію, з пропози́ції

по приме́ру — за при́кладом

по про́сьбе — на проха́ння

по свиде́тельству — за сві́дченням

по слу́хам зна́ю — з чуто́к (з чутки́) зна́ю

по со́бственной (по свое́й, по до́брой) во́ле — з вла́сної (з своє́ї, з до́брої) во́лі, вла́сною (своє́ю) во́лею, самохі́ть

по со́бственному жела́нию — за вла́сним бажа́нням, з вла́сного бажа́ння

по сообще́ниям газе́т — за (згідно з) повідо́мленнями га́зет

по старшинству́ — за старшинство́м

по тре́бованию — на вимо́гу

пье́са по рома́ну — п'є́са за рома́ном

смотря́ по пого́де — зале́жно від пого́ди, як до пого́ди, як яка́ пого́да

узна́ть по го́лосу — пізна́ти з го́лосу

идти́ по ко́мпасу — іти́ за ко́мпасом

переда́ть по ра́дио — переда́ти по ра́діо

по желе́зной доро́ге — залізни́цею

по по́чте — по́штою

о́тпуск по боле́зни — відпу́стка через хворо́бу

по зло́бе — зі зло́сті, ма́ючи зло́бу (злі́сть)

по знако́мству — через знайо́мство

по ине́рции — за іне́рцією

по ле́ности — з лі́нощів, через лі́нощі

по мое́й вине́ — з моє́ї вини́ (прови́ни)

по невнима́тельности — через неува́жність (неува́жливість), з неува́жності (неува́жливості)

по недоразуме́нию — через непорозумі́ння, з непорозумі́ння

по необходи́мости — з [доконе́чної] потре́би

по по́воду чего́ — з при́воду чо́го

по подозре́нию в чём — підозріва́ючи в чо́му; ма́ючи підо́зру, що...; за підозрі́нням у чому́

по принужде́нию — з при́мусу

по причи́не чего́ — через що

по мно́гим причи́нам — з багатьо́х причи́н

по то́й причи́не — з тіє́ї (то́ї) причи́ни, через те

не захо́дит по неде́лям, по месяца́м — не захо́дить ти́жнями, місяця́ми

по весе́ннему вре́мени — навесні́, весно́ю, у весня́ну́ по́ру (добу́)

по выходны́м дня́м — у вихідні́ дні́, вихідни́ми дня́ми

по деся́тому го́ду — у де́сять ро́ків, як мину́ло (скінчи́лося) де́сять ро́ків

по ноча́м — ноча́ми

по о́сени — восени́

по пра́здникам — у (на) свята́, свята́ми

по це́лым дня́м — ці́лими дня́ми, ці́лі дні́

вы́звать по дела́м слу́жбы — ви́кликати у службо́вих спра́вах

коми́ссия по составле́нию резолю́ции — комі́сія для склада́ння (для скла́дення) резолю́ції

комите́т по разоруже́нию — коміте́т у спра́ві роззбро́єння

мероприя́тия по — за́ходи щодо (для, до)

да́ть ка́ждому по я́блоку — да́ти ко́жному по я́блуку

по ло́жке — по ло́жці

коса́ по по́яс — коса́ до по́яса

она́ ему́ по плечо́ — вона́ йому́ до плеча́ (по плече́)

по коле́ни в воде́ — по колі́на (до колі́н) у воді́

по март включи́тельно — до бе́резня (по бе́резень) вклю́чно

по пра́вую ру́ку — право́руч, по пра́ву ру́ку; в (на, по, у) пра́ву руч

по ду́шу — по ду́шу

ходи́ть по во́ду — ходи́ти по во́ду

ходи́ть по грибы́ — ходи́ти по гриби́